基于光流场的微表情序列特征提取方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种基于光流场的微表情序列特征提 取方法。
【背景技术】
[0002] 目前，微表情识别存在诸多的困难，现阶段仍未形成实用性的方法和理论框架。其 难点主要表现在特征提取上。当前使用的特征往往是通用的视频特征表达，没有针对微表 情这一应用进行优化，也不能对微表情提供深层的理解。 微表情最初发现于1969年，是心理学家通过观察与抑郁症病人的谈话录像时发现的 [1]。视频中的病人经常表现出正常的笑容，然而可以发现有几帧异常痛苦的表情。心理学 家将之命名为微表情。
[0003] 与常规表情不同，微表情是一种人无法主观控制的微小表情。因此，观察微表情来 判断真实心理状态在公安审讯、心理疾病诊治、商业谈判等领域具有潜在且重要的应用价 值，目前已经受到了相当的关注。
[0004] 然而微表情的识别并不容易，主要难点就在于其1)持续时间短、2)动作幅度小。 即使受过专业训练的人员其识别准确率也不高。因此，一种基于计算机视觉的自动识别算 法能够提高识别稳定性，并能极大地节省人力，具有很强的应用价值。其涉及到的技术领域 主要有：人脸检测、人脸关键点定位、人脸对齐、图像预处理、特征提取、机器学习等。
[0005] 尽管微表情识别发展不是很完善，但还是有大量的学者对其进行了研宄，代表文 献如下面所列。
[0006] 当前国际上持续深入研宄微表情识别的主要有两个研宄小组。芬兰Oulu大学 从时空纹理入手，试图将通用的视频特征应用到微表情上，提取有效的表达，来进行微表 情的识别。如Pfister使用的三正交面局部二值模式（Local Binary Patten on Three Orthogonal Planes，LBP-TOP)特征，在X-Y，X-T，Y-T三个平面上提取局部二值模式（Local Binary Pattern)，共同用于微表情描述[2]。其中局部二值模式对于每一个像素点，用一个 二进制数编码其与周围像素的值大小关系。然后统计该二进制编码的分布直方图，将之作 为特征表达。但是微表情分析对人脸的精细对齐要求很高，该方法并不能很好的处理该问 题。
[0007] 中科院心理所王甦菁研宄员从机器学习理论上入手，将每个微表情图像序列看 作一个三阶张量，然后通过判别式张量子空间分析（Discriminative Tensor Subspace Analysis，DTSA)学习一组子空间映射，使得相同类别的张量之间距离尽量小，而不同类别 的张量之间距离尽量大。然后通过极限学习机（Extreme Learning Machine)识别映射之 后的微表情张量[5]，其本质上是一种机器学习算法，并没有在特征表达层面上对微表情提 供深入的理解。
[0008] 引用文献：
[1]EkmanP,Friesenff V.Nonverballeakageandcluestodeception. Psychiatry，vol. 32，no. 1，pp. 88-106，1969.
[2] T.Pfister，X.Li,G.Zhao,andM.Pietikainen.Recognisingspontaneous facialmicro-expressions.CVPR, 2011.
[3] M.Shreve,S.Godavarthy,V.Manohar,D.Goldgof,andS.Sarkar.Towards macro-andmicro-expressionspottinginvideousingstrainpatterns.IEEE WorkshoponApplicationsofComputerVision, 2009.
[4] M.Shreve,S.Godavarthy,D.Goldgof，andS.Sarkar.Macro-and micro-expressionspottinginlongvideosusingspatio-temporalstrain,AFGR， 2011.
[5] S. -J.Wang,H. -L.Chen,W. -J.Yan,Y. -H.Chen,andX.Fu,Facerecognition andmicro-expressionrecognitionbasedondiscriminanttensorsubspaceanalysis plusextremelearningmachine,NeuralProcessingLetters,vol.39,no.1,pp. 25 - 43，2014.
[6]X.Li,T.Pfister，X.Huang,G.Zhao,andM.Pietikainen.Aspontaneous micro-expressiondatabase:Inducement,collectionandbaseline,AFGR， 2013.
[7]W.-J.Yan,Q.Wu,Y.-J.Liu,S.-J.Wang,andX.Fu,CASMEdatabase:Adatasetofspontaneousmicro-expressionscollectedfromneutralizedfaces, AFGR，2013
[8] W.-J.Yan,X.Li,S.-J.Wang,G.Zhao,Y.-J.Liu,Y.-H.Chen,andX.Fu, CASMEII:animprovedspontaneousmicro-expressiondatabaseandthebaseline evaluation,PLoSONE,vol. 9,no. 1,p.e86041, 2014.
[9] WuQ,ShenX，FuX.Themachineknowswhatyouarehiding:anautomatic micro-expressionrecognitionsystem.AffectiveComputingandIntelligent Interaction.SpringerBerlinHeidelberg,pp.152-162, 201L〇
【发明内容】
[0009] 本发明的目的在于提供一种有效的微表情序列特征提取方法。
[0010] 本发明提出的微表情序列特征提取方法，首先，在微表情帧数一定的前提下抽取 相邻帧之间的稠密光流场；在稠密光流场的基础上通过一种简洁的方法进行精细对齐，消 除人脸平移对微表情识别带来的影响；然后，把对齐后的光流场分割为一系列时空分块，在 每个时空分块中抽取主方向，用以表征该分块中绝大多数点的运动模式；将所有分块中的 主方向量化、拼接，并表达成向量的形式，即得到设计的微表情序列特征。图1为本发明流 程图示。
[0011] 本发明提出的微表情序列特征提取方法，具体步骤为： 1、给定一段人脸表情序列XpXp.qXjj，通过插值法将视频对齐到指定帧数ff，得到 。其中，所述插值法，可以是线性插值法，也可以是Pfister描述的流形插值法 等[2]。
[0012] 2、在确定长度的微表情序列中，使用Horn-Schunck方法估计稠密光流场 …，其中， 隨)是|k与lk+1之间的光流场，其公式表 达式是：
表示lk在第i行第j列的像素值，和vkij分别是%和"vk在第|行第j列的元素； 称为该位置的运动向量。在实际问题中上述公式并不能严格成立，只能近似，所 以存在一定误差。因此本发明将在步骤4中介绍一种迭代的方法对主方向进行估计。
[0013] 3、使用精细化对齐算法消除面部整体位移。以水平分量U为例，对每一个 计算直方图hu。等于光流场水平分量中值为|的数量。令
即是出现次数最多的水平分量值的相反数。令U中所有值加上Ilf，则得到精确对 齐后的水平光流场，
式中I是和U具有相同维度，且元素都是1的矩阵； 对竖直分量V的精细化对齐是类似的：
[0014] 4、为了得到紧凑的表达，把对齐后的光流场切分成时空块，令每个时空块的尺寸 为胃xhxt