一种基于非线性降维的人脸微表情捕捉及识别方法
【专利摘要】本发明提出了一种基于非线性降维的人脸微表情捕捉及识别方法，该方法首先构建一种高速图像采集应用系统并获取高速视频人脸图像序列，然后利用一种基于拉普拉斯特征映射的非线性降维方法，对获得的高速视频人脸图像序列进行降维，最后在低维空间中进行特征参数计算，应用低维空间特征参数跟踪识别人脸微表情变化。实验表明该方法对计算机性能要求低，计算速度快，使得实时跟踪识别人脸微表情变化成为可能。
【专利说明】一种基于非线性降维的人脸微表情捕捉及识别方法
【技术领域】
[0001]本发明涉及一种基于非线性降维的人脸微表情捕捉及识别方法。构建一种高速时间序列图像动态采集系统获取人脸动态时间序列图像，利用一种基于拉普拉斯特征映射的非线性降维方法，最终实现低维空间人脸微表情的捕捉及识别。
【背景技术】
[0002]微表情(Micro-expression)是一种持续时间仅为40毫秒至200毫秒的非常快速的表情，它不受意识控制，反映了人类内心的真正情感。微表情作为欺骗检测线索，在临床上、侦查审讯、国家安全等领域有重要价值，应用前景极其广阔。
[0003]在临床上，医生若能识别病人的微表情，则可以更好地了解病人的需求，针对性地确定治疗方案，缩短疗程，提高疗效。在侦查审讯、国家安全领域，有些训练有素的恐怖分子等危险人物可能轻易就通过测谎仪的检测，但是通过微表情，一般就可以发现他们虚假表面下的真实表情。
[0004]目前，人们对微表情的认识还十分有限，微表情识别一般借助面部行为编码系统FACS (Facial Action Coding System)对可能包含微表情的视频进行逐巾贞的编码。FACS编码的训练十分费时，编码者一般需要接受100小时的训练才能达到初步熟练的程度；同时使用FACS进行编码也很费时，编码I分钟的视频至少需要2个小时。这极大地限制了目前的微表情研究及应用，此外，由于微表情出现速度很快，人工识别有很大困难，可靠性也无法保证，因此，急需一种有效的人脸微表情自动识别方法。
[0005]2011年，美国南佛罗里达大学的Shreve1采用光流法提取微表情特征，然后根据给定阈值进行微表情分类。同年，芬兰奥卢大学的赵国英2以时间差值模型LBP-TOP为特征提取方法，综合利用支持向量机、随机森林和多核学习方法进行微表情分类。但这些研究与自动识别微表情的目标尚有较大差距，仅仅只是初步探索。2011年，中国科学院心理研究所的吴奇3等对视频中的人脸进行捕获并进行相应的预处理，基于Gabor特征对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor表征,再结合Gabor特征与改进的GentleSVM算法实现人脸表情识别，不过，该结果是基于特定的测试集得到的，对于幅度较小的表情或将其应用于现实环境中可能无法达到很高的识别率。2013年，日本的Polikovsky4使用200fps高速摄像机在特定的环境下拍摄了 10组大学生的面部微表情活动，参与者被要求从6种表情以自己最快的速度回到中性表情中，完成模拟微表情变化的过程。记录下面部的微变化后，将面部分为12个感兴趣区，对每一区域采用3D梯度方向直方图描述运动。综合K均值聚类和表决程序的分类结果表明，3D梯度方向直方图可以有效表征不同面部区域处在不同相位的面部表情动作单元。迄今为止，只有日本的Polikovsky5创建的微表情视频库使用的是高速照相机，但它是在强光下拍摄，与真实的自然场景有很大区别，因此也需要研制一种获取人脸动态时间序列图像的高速图像采集系统。
[0006]微表情持续时间很短并快速变化，需要高速动态图像跟踪捕捉，捕捉到的高速动态图像序列是一个高维数据集，直接对该高维数据进行处理识别微表情特征往往会面临维数灾难。通过维数约减将高维数据转换为低维特征空间表示，必然在相当大的程度上减轻甚至避免图像数据处理所面临的维数灾难。
[0007]为实现高维输入样本在局部意义下的最优低维嵌入，Belkin和Niyogi于2003年提出了基于谱图理论的Laplacian Eigenmap6 (LE)算法。他们发现流形上Laplacian-Beltrami算子的特征函数可以实现流形的低维嵌入，Laplacian-Beltram算子定义为流形切空间上梯度向量的负散度函数。根据谱图理论，如果数据均匀采样于高维空间中的低维流形，那么可以用图的Laplacian去逼近流形上Laplacian-Beltrami算子,进而可以用图的Laplacian特征向量去逼近流形上Laplacian-Beltrami算子的特征函数。LE算法只需要较少的计算量，执行速度很快，是一种广泛应用的非线性降维方法。
[0008]1Shreve , M.；Godavarthy, S.；Goldgof, D.；Sarkar, S., 〃Macro-andmicro-expression spotting in long videos using spatio-temporal strain, " AutomaticFace&Gesture Recognition and Workshops (FG2011), 2011 IEEE International Conferenceon, vol., n0., pp.51,56,21_25March2011.[0009]2Pfister, T.；Xiaobai Li ；Guoying Zhao ；Pietikainen, M., "Recognisingspontaneous facial micro-expressions, " Computer Vision (ICCV),2011IEEEInternational Conference on, vol., n0., pp.1449,1456,6-13Nov.2011.[0010]3Qi Wu, Xunbing Shen, Xiaolan Fu:The Machine Knows What You Are Hiding:AnAutomatic Micro-expression Recognition System.ACII (2) 2011: 152-162.[0011]4Polikovsky, Senya ； Kame da, Yoshinari ； Oh t a, Yuichi, "FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) "，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.[0012]5Polikovsky, Senya ；Kameda, Yoshinari ；0hta, Yuichi, " FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) "，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.[0013]6Mikhail Belkin, Partha Niyog1." Laplacian Eigenmaps for DimensionalityReduction and Data Representation;/ , Neural Computation, 200315:6,1373-1396.
【发明内容】
[0014]本发明所解决的主要技术问题是研制一种获取人脸动态时间序列图像的高速图像采集系统，开发一种基于拉普拉斯特征映射的非线性降维的高维序列图像特征计算分析方法，最终实现人脸微表情的捕捉及识别。
[0015]本发明所采用的技术方案如下:
[0016]1.创建高速图像采集应用系统(硬件组成+应用软件)，设置好高速图像采集系统的软硬件参数配置。
[0017]2.采集高速视频人脸图像序列作为输入进行后续特征提取分析。
[0018]3.建立一种基于拉普拉斯特征映射非线性降维的方法，对获得的高速视频人脸图像序列进行降维，建立其低维特征空间。[0019]4.在低维空间中进行特征参数计算，应用低维空间特征参数跟踪识别人脸微表情变化。
[0020]本发明具有如下优点:
[0021](I)LE算法在构造近邻图和求低维嵌入的计算复杂度分别为O (Dn2)和0(dn2)，在设置重构权值矩阵的计算复杂度最多不超过O (kDn)，因此，LE算法只需要较少的计算量，执行速度快。
[0022](2)由于微表情变化时间序列图像维数过高，有的特征会对分类起误导作用，对其进行降维，提取出对分类最能起作用的特征，从而提高分类准确率。
[0023](3)在一定程度上消除高维数据中存在的噪声。数据的高维性背后可能包含很多冗余无用的噪声信息，通过对高维数据进行降维，抽取和问题紧密相关的因子，删除冗余的噪声维数。
[0024](4)实验表明，降维后提取的低维特征具有很好的分类能力，这使得实时检测成为可能。
【专利附图】
【附图说明】
[0025]图1本发明的方法流程图
[0026]图2部分眼睛变动的时间序列图像
[0027]图3眼睛变动的时间序列图像的拉普拉斯特征映射降一维嵌入结果
[0028]图4部分微笑微表情变化时间序列图像
[0029]图5微笑微表情变化时间序列图像的拉普拉斯特征映射降一维嵌入结果【具体实施方式】
[0030]本发明的方法流程图如图1所示，具体如下:
[0031]1.创建高速图像采集应用系统
[0032]由于微表情持续时间最短仅为40毫秒，要求fps至少250，控制噪声和系统造价同时，为了提高精度，我们选择采样频率最高可达300fps高速摄像系统，分辨率为800x600像素。高速摄像系统与高性能计算机工作站直接相连，采集系统软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各I分钟)间隔10秒录制在CD中，10秒间隔便于被试舒缓情绪，自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频，并同时观看相应表情图像。高速摄像系统自动启停采集相关视频，系统安放在在一个8平米房间内，有两盏LED灯。
[0033]2.微表情变化时间序列图像的采集
[0034]招募10名一年级研究生作为被试，男女各5名，听力和视力正常，并进行培训。房间内只有被试一人，测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕，严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集，采集的视频流通过采集卡实时存储在计算机工作站中。
[0035]3.对微表情变化时间序列图像预处理
[0036]先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频。[0037]4.对人脸微表情变化时间序列图像降维
[0038]拉普拉斯特征映射是一种基于局部的非线性降维方法，其思想是通过保持数据的局部性来发掘潜在的流形结构，也即高维空间中距离较近的点在低维嵌入空间也应该比较接近。算法实施如下:
[0039](4.1)构造近邻图G
[0040]设G表示η个点的矩阵。我们将i和j连接起来，如果Xi和\离很近，就做如下
变化:如果
[0041]
【权利要求】
1.一种基于非线性降维的人脸微表情捕捉及识别方法，包括如下步骤: 步骤(1)，创建高速图像采集应用系统(硬件组成+应用软件)； 步骤(2)，采集高速视频人脸图像序列作为输入进行后续特征提取分析； 步骤(3)，对微表情变化时间序列图像预处理，先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频； 步骤(4)，应用拉普拉斯特征映射对序列图像降维； 步骤(5)，在低维空间中进行特征参数计算，基于k近邻分类器应用低维空间特征参数跟踪识别人脸微表情变化。
2.如权利要求1所述的高速图像采集应用系统创建方法为: 由于微表情持续时间最短仅为40毫秒,要求fps至少250,控制噪声和系统造价同时，为了提高精度，我们选择采样频率最高可达300fps高速摄像系统，分辨率为800x600像素。高速摄像系统与高性能计算机工作站直接相连，采集系统软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各I分钟)间隔10秒录制在CD中，10秒间隔便于被试舒缓情绪，自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频，并同时观看相应表情图像。高速摄像系统自动启停采集相关视频，系统安放在在一个8平米房间内，有两盏LED灯。
3.如权利要求2所述的微表情变化时间序列图像的采集方法为: 招募10名一年级研究生作为被试，男女各5名，听力和视力正常，并进行培训。房间内只有被试一人，测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕，严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集，采集的视频流通过采集卡实时存储在计算机工作站中。
4.如权利要求4所述的应用拉普拉斯特征映射对序列图像降维，其特征是，所述序列图像降维的具体步骤如下: (4.1)构造近邻图G 设G表示η个点的矩阵。我们将i和j连接起来，如果Xi和\离很近，就做如下变化:如果
【文档编号】G06K9/62GK104008391SQ201410184408
【公开日】2014年8月27日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】李海云, 董建鑫, 景斌, 龙云玲, 钟景茹 申请人:首都医科大学