基于部分遮挡图像的人脸表情识别方法
【专利摘要】本发明公开了一种基于部分遮挡图像的人脸表情识别方法，包括如下步骤：1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理；2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；3、对待测样本的遮挡部分进行重构；4、提取重构后的待测样本和训练集中的训练样本的PWLD特征；5、使用SVM分类器对测试集中所有待测样本进行分类识别。本发明采用图像匹配的方法，能够有效地重构图像的遮挡部位，避免了只提取非遮挡部分时特征表征不完整的问题，此外本发明采用的三层金字塔结构提取了图像的全局和局部特征，增强了特征表征的精确性。
【专利说明】
基于部分廬挡图像的人脸表情识别方法
技术领域：
[0001] 本发明设及图像重构和特征提取，属于图像处理领域，具体地说是一种基于部分 遮挡图像的人脸表情识别方法。
【背景技术】：
[0002] 人脸表情识别在人机交互，智能信息处理等方面受到了广泛关注，但目前大多数 的研究都是在受控环境下进行的，难W适应外界环境的复杂多变性，然而人脸却经常会受 到眼镜，围巾，口罩W及一些随机遮挡物遮挡，导致人脸表情的识别率大大降低。近年来，遮 挡情况下人脸表情识别方面的研究成为了一个重要研究方向。如今处理遮挡情况下人脸表 情识别方面的一些研究者尝试着对遮挡部分的纹理特征和几何特征进行重构，从而消除遮 挡对表情识别产生的影响。
[0003] 主成分分析(PCA)是一种用于降低数据维数的统计方法，并能够尽量保留原始数 据的变化，近年来有些学者将其运用于遮挡情况下人脸的重构，实验结果表明在遮挡面积 较小时，实验取得的效果较好。但是对于遮挡面积比较大的情况，经PCA重构后图像比较模 糊，重构后图像的识别率也相对较低。
[0004] 基于子模式的主成分分析(SpPCA)是对主成分分析(PCA)的一种改进，传统的PCA 是将整个样本看作一个向量来计算特征值和特征向量，提取样本的全局特征，SpPCA则是将 一个样本分为了若干个不同的区域，分别计算每个区域的特征值和特征向量。所W将PCA应 用在人脸表情识别中会存在一些不足，比如在悲伤运种表情下，会存在眼睛，眉毛和嘴己部 位占的比重较大，脸颊和鼻子等部位所占比重较小的问题。虽然SpPCA克服了 PCA在不同表 情表达时没有区分不同部位具有的重要性的缺点，但是对于较大的遮挡，由于遮挡部分的 区域可能就会被单独划分到一个较小区域，在运个较小区域内计算特征值和特征向量后， 重构后的图像仍然含有较多的遮挡，运样也会造成图像识别率不高的问题。
【发明内容】
[0005] 本发明为避免上述现有技术存在的不足之处，提供一种基于部分遮挡图像的人脸 表情识别方法，W期能够有效地重构图像的遮挡部位，从而提高遮挡情况下人脸表情的识 别率。
[0006] 本发明为解决技术问题采用如下技术方案：
[0007] 本发明一种基于部分遮挡图像的人脸表情识别方法的特点是按如下步骤进行： [000引步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：
[0009] 用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图 像;再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸 图像进行尺度归一化处理，从而获得纯人脸图像集；
[0010] W所述纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测 试集；
[0011]步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待 测样本同类别且最近邻图像；
[0012]步骤2.1、提取训练集中所有训练样本的LBP特征；
[0013]步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵 X以P表示，从而获得N类表情中所有训练样本的LBP特征矩阵
[0016] 其中，mk是第k类表情中包含的训练样本个数，η是所有训练样本所提取到的LBP特 征维数;^-1，》-读示第k类表情中第mk-1个训练样本的第η-1个LBP特征值;l《k《N;
[0017] 步骤2.3、利用式（1)计算第k类表情中所有训练样本的LBP特征均值矩阵巧W，从 而获得胸1表情中所有训练样本的1^8口特征均值矩阵^^> =·[^^，^^，···，^6Ρ，···，^ρ}; [001 引
[0019] 步骤2.4、提取训练集中所有训练样本的LDTP特征；
[0020] 步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵 心心IP表示，从而获得N类表情中所有训练样本的LDTP特征矩阵
[002引其中，q是所有训练样本所提取到的LDTP特征维数;^心-1表示第k类表情中第mk-1 个训练样本的第q-1个LDTP特征值；
[0024]步骤2.6、利用式（2)计算第k类表情中所有训练样本的LDTP特征均值矩阵巧。W， 从而获得N类表情中所有训练样本的LDTP特征均值矩阵
[0027] 步骤2.7、提取训练集中所有训练样本的WLD特征；
[0028] 步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(χ。)和 方向 θ' (Xc):
[0032] 式(3)、式(4)和式巧）中，X。表示任意一个训练样本中3X3邻域
的中 屯、像素值，XI表示中屯、像素值X。的第i个邻域的像素值，P表示邻域像素的个数；并有：
[0033] 步骤2.7.2、利用式(6)将所述方向θ/(χ。)进行量化，获得Τ个方向Φ。
[0036] 步骤2.7.3、将所述任意一个训练样本的差分激励ξ(χ。)和方向θ/(χ。)联合起来构 造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；
[0037] 步骤2.7.4、将所述二维札0直方图转化为一维札0直方图，^所述一维札0直方图 作为相应训练样本的WLD特征;从而获得所有训练样本的WLD特征；
[003引步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵 X,以。表示，从而获得N类表情中所有训练样本的WLD特征矩阵
[00川其中，P是所有训练样本所提取到的WLD特征维数;·ν-ι,ρ-1表示第k类表情中第mk-1 个训练样本的第P-1个WLD特征值；
[0042]步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵心。，从 而获得N类表情中所有训练样本的WLD特征均值矩阵
[0043]
[0044] 步骤2.10、对测试集中的任意一个待测样本提取1^8?特征，记为￥18。=[70， yi......,yn-i]；
[0045] 步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属 于第k类表情的所有训练样本的LBP特征均值间的相似度|ziw|，从而获得所述待测样本的 LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合
[004引式(8)中，皆表示第k类表情中所有训练样本LBP特征均值的第i个值，yi表示待测 样本的LBP特征中第i个值；
[0049] 步骤2.12、从所述相似度集合
中选取最小值，并记为 miriLBP；
[0050] 步骤2. 13、对测试集中的任意一个待测样本提取LDTP特征，记为化DTP=[y(/， yi'......，y'q-i];
[0051] 步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中 属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本 的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合
[0054] 式(9)中，表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y/表示 待测样本的LDTP特征中第i个值；
[0055] 步骤2.15、从所述相似度集省
中选取最小值，并 记为miriLDTP;
[0化6]步骤2.16、对测试集中的任意一个待测样本提取胖1^0特征，记为￥^1〇=[70" 11 ......，y"P-i];
[0057]步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属 于第k类表情的所有训练样本的WLD特征均值间的相似度I，从而获得所述待测样本的WLD特 征与N类表情中所有训练样本的WLD特征均值间的相似度集合
[0化引
[0化9]式(10)中，Sf表示第k类表情中所有训练样本WLD特征均值的第i个值，y/ /表示待 测样本的WLD特征的第i个值；
[0060]步骤2.18、从所述相似度集合^
选取最小值，并记 为minwLD;
[0061 ] 步骤2.19、若miriLBP所对应的表情类别，miriLDTP所对应的表情类别和minwLD所对应 的表情类别中有任意两个相同或Ξ个值均相同时，即可得出待测样本的表情类别；如若 mi riLBP所对应的表情类别，mi riLDTP所对应的表情类别和mi加 LD所对应的表情类别均不相同 时，则采用式(11 )、式(12)和式(13)对最小值进行归一化处理：
[0065] 步骤2.20、从化bp，Rwld和化DTP中选取出最小值，并将最小值对应的表情类别作为待 测样本的表情类别；
[0066] 步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中 所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图 像；
[0067] 步骤3、对待测样本的遮挡部分进行重构：
[0068] 步骤3.1、利用式(14)所示的信息赌和最大类间差法检测待测样本中的遮挡部位：
[0069] H(X) =-/xp(x)logp(x)dx (14)
[0070] 式（14)中，X是一个随机变量，X是变量X的取值范围中的一个值，HO为信息赌;p (X)是当变量X取值为X时的概率；
[0071 ]当X是离散型随机变量时：
[0072]
(1^)
[0073] 式(15)中，D(x)是随机变量X的定义域；
[0074] 步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得 到重构后的待测样本；
[0075] 步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：
[0076] 步骤4.1、把所述待测样本分为1层图像，每一层图像均由方形，大小均等且互不重 叠的图像块组成，每层图像块的个数为4^，1代表图像块所在的层数；
[0077] 步骤4.2、选取第1层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子 图像的WLD特征;从而获得第1层中所有图像块的WLD特征;将第1层中所有图像块的WLD特征 级联起来，即可得到第1层图像的一维WLD特征;继而获得1层图像的一维WLD特征；
[0078] 步骤4.3、将1层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特 征；
[0079] 步骤4.4、重复步骤4.1-步骤4.3,从而获得所有训练样本的PWLD特征；
[0080] 步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：
[0081] 步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应 的标签；
[0082] 步骤5.2、将所述训练样本所提取的PWLD特征和类别标签作为参数输入SVM，通过 机器学习，训练得到SVM分类器模型；
[0083] 步骤5.3、将所述测试集中任意一个待测样本所提取的PWLD特征和类别标签作为 参数，输入到所述SVM分类器模型中，进行分类预测，获得预测的类别。
[0084] 与已有技术相比，本发明的有益效果体现在：
[0085] 1、本发明利用Ξ种比较优秀的特征提取方法(局部二值模式LBP，局部方向纹理模 式LDTP和韦伯局部描述子WLD)提取训练集样本的特征，根据人脸表情库中表情的种类，计 算出每类表情的特征均值，对于待测样本也同样提取上述Ξ种特征，计算待测样本和训练 集样本之间的相似度，利用Ξ种不同特征值之间的比较和特征值归一化处理，从而有效地 实现了对待测样本的表情类别的粗分类，使得分类结果更具准确性。
[0086] 2、本发明利用粗分类方法得到最近邻类别后，选出此类别中与待测样本最近邻的 图像，之后用得到的最近邻图像的相应部分替代待测样本中的遮挡部分;使用训练集中和 待测样本最近邻的图像，对遮挡部分进行重构，从而有效地减小了重构遮挡的误差。
[0087] 3、本发明利用信息赌和最大类间差法检测待测样本的遮挡部位，通过设定阔值的 方法，将图像的遮挡部分和非遮挡部分进行分离，能够清楚地显示出图像的遮挡部分。
[0088] 4、本发明利用最近邻图像对待测图像的遮挡部分进行重构，而不是舍弃遮挡部分 只提取非遮挡部分的特征，使得图像的纹理信息表征地更加完整，从而减少了遮挡对人脸 表情识别的影响。
[0089] 5、本发明利用金字塔韦伯局部描述子来提取图像的特征，Ξ层结构的特征提取方 法，比较完整地提取了图像的全局和局部特征。
[0090] 6、本发明利用支持向量机对人脸表情图像分类识别，与传统的机器学习相比，具 有较好的推广能力，但其性能依赖参数的选择，本发明中选用了径向基核函数，在线性核函 数，多项式核函数，径向基核函数和Sigmoid核函数中，径向基核函数使用最广泛，无论是低 维、高维、小样本、大样本情况下，径向基核函数均使用，具有较宽的收敛域，是较为理想的 分类依据函数。
【附图说明】
[0091] 图1为本发明的流程图；
[0092] 图2a为本发明中基于JAFFE人脸表情库的模拟遮挡的样本图；
[0093] 图化为本发明中基于CK人脸表情库的模拟遮挡的样本图；
[0094] 图3a为本发明中基于JAFFE人脸表情库的遮挡模拟部分遮挡检测图W及遮挡的重 构效果图。
[00%]图3b为本发明中基于CK人脸表情库的遮挡模拟部分遮挡检测图W及遮挡的重构 效果图；
[0096] 图4a为本发明中不同方法在基于JAFFE人脸表情库中不同遮挡情况下的识别率之 间的比较图；
[0097] 图4b为本发明中不同方法在基于CK人脸表情库中不同遮挡情况下的识别率之间 的比较图；
[0098] 图5为本发明对模拟口罩遮挡情况下的重构效果图。
【具体实施方式】
[0099] 本实施例中，如图1所示，一种基于部分遮挡图像的人脸表情识别方法，包括如下 步骤：
[0100] 1、一种基于部分遮挡图像的人脸表情识别方法，其特征是按如下步骤进行：
[0101] 步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：
[0102] 用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图 像;再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸 图像进行尺度归一化处理，从而获得纯人脸图像集;本实施例中，经过尺度归一化处理后的 所有人脸图像的像素大小为96 X 96;
[0103] W纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集；
[0104] 本发明采用JAFW人脸表情库和Cohn-Kanade人脸表情库。JAFW人脸表情库由10 位日本女性的213张人脸图像构成，包含每人2~4幅不同表情的图像，Cohn-Kanade人脸表 情库包含了 97个对象的486个表情序列。在JAFi^库中选取了屯种基本表情:生气、厌恶、恐 惧、高兴、中性、悲伤、吃惊，在CK库中基于图像序列选取了六种基本表情:悲伤、高兴、吃惊、 恐惧、生气、厌恶。在JAFFE库中选取每人每类表情的两到Ξ张图像作为训练集中的训练样 本，一张图像作为测试集中的测试样本。在CK库中选取92个对象进行实验，基于图像序列选 取上述92个人中每人每类表情的两张图像作为训练集中的训练样本，两张图像作为测试集 中的测试样本。
[010引步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待 测样本同类别且最近邻图像；
[0106] 步骤2.1、提取训练集中所有训练样本的LBP特征；
[0107] 步骤2.1.1、将训练样本分成四块大小相等且互不重叠的子块，即得到大小为24X 24像素的图像块;将每一个图像块看作是一个子图像，提取每个子图像的LBP特征。
[010引步骤2.1.2、重复步骤2.1.1即可得到样本中所有图像块的LBP特征。
[0109] 步骤2.1.3、将步骤2.1.2中得到的所有图像块的LBP特征级联起来，即可得到训练 样本的LBP特征。
[0110] 步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵 表示，从而获得N类表情中所有训练样本的LBP特征矩阵
[0111]
[0112]
[0113] 其中，mk是第k类表情中包含的训练样本个数，η是所有训练样本所提取到的LBP特 征维数;X，，，一，Μ表示第k类表情中第mk-1个训练样本的第n-1个LBP特征值;l《k《N;
[0114] 步骤2.3、利用式（1)计算第k类表情中所有训练样本的LBP特征均值矩阵llw，从 而获得N类表情中所有训练样本的LBP特征均值矩阵
[0115]
[0116] 步骤2.4、提取训练集中所有训练样本的LDTP特征；
[0117] 步骤2.4.1、将训练样本分成四块大小相等且互不重叠的子块，即得到大小为24X 24像素的图像块。将每一个图像块看作是一个子图像，提取每个子图像的LDTP特征。
[011引步骤2.4.2、重复步骤2.4.1即可得到样本中所有图像块的LDTP特征。
[0119] 步骤2.4.3、将步骤2.4.2中得到的所有图像块的LDTP特征级联起来，即可得到训 练样本的LDTP特征。
[0120] 步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵 Xiwp表示，从而获得N类表情中所有训练样本的LDTP特征矩阵
[012引其中，q是所有训练样本所提取到的LDTP特征维数；·Υ"ι,-ι?-ι表示第k类表情中第mk- 1个训练样本的第q-1个LDTP特征值；
[0124]步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵玄心。， 从而获得N类表情中所有训练样本的LDTP特征均值矩阵
[0127]步骤2.7、提取训练集中所有训练样本的WLD特征；
[012引步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(χ。)和 方向 θ' (Xc):
[om] 式(3)、式(4)和式(5)中，X康示任意一个训练样本中3X3邻巧
均中 屯、像素值，XI表示中屯、像素值X。的第i个邻域的像素值，P表示邻域像素的个数；并有： vf -Xl ,ν" ；
[0133]步骤2.7.2、利用式(6)将所述方向θ/(χ。)进行量化，获得Τ个方向Φ。
[0136] 步骤2.7.3、将所述任意一个训练样本的差分激励ξ(χ。)和方向θ/(χ。)联合起来构 造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；
[0137] 步骤2.7.4、将所述二维札0直方图转化为一维札0直方图，^所述一维札0直方图 作为相应训练样本的WLD特征;从而获得所有训练样本的WLD特征；
[013引步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵 本表示，从而获得N类表情中所有训练样本的WLD特征矩阵
[0141] 其中，Ρ是所有训练样本所提取到的WLD特征维数；*康示第k类表情中第mk-1 个训练样本的第P-1个WLD特征值；
[0142] 步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵疋4u0，从 而获得N类表情中所有训练样本的WLD特征均值矩阵
[0143]
[0144] 步骤2 . 10、对测试集中的任意一个待测样本提取L B P特征，记为Υ L B p = [ y ο， yi......,yn-i]；
[0145] 步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属 于第k类表情的所有训练样本的LBP特征均值间的相似度从而获得所述待测样本的 LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合
[0148] 式(8)中，疗表示第k类表情中所有训练样本LBP特征均值的第i个值，yi表示待测 样本的LBP特征中第i个值；
[0149] 步骤2.12、从所述相似度集合
中选取最小值，并记 为miriLBP;
[0150] 步骤2.13、对测试集中的任意一个待测样本提取1^)了？特征，记为化〇1。=[7'0， yi'......，y Vi];
[0151] 步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中 属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本 的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合
[0154]式(9)中，璋t表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y/表示 待测样本的LDTP特征中第i个值；
[01W] 步骤2.15、从所述相似度集合
中选取最小值，并 记为miriLDTP;
[0156] 步骤2 . 16、对测试集中的任意一个待测样本提取WLD特征，记为YwLD = [ y0"， yi"......，y"P-i];
[0157] 步骤2.17、根据欧式距离利用式（10)计算出所述待测样本的WLD特征与训练集中 属于第k类表情的所有训练样本的WLD特征均值间的相似度|2；；1。|，从而获得所述待测样本的 WLD特征与N类表情中所有训练样本的WLD特征均值间的相似度集合
[0160] 式(10)中，马"表示第k类表情中所有训练样本WLD特征均值的第i个值，y//表示待 测样本的WLD特征的第i个值；
[0161] 步骤2.18、从所述相似度集合{片1"|，[40|，'"，|成0|，'"，|媒"[}中选取最小值，并记 为minwLD;
[0162] 步骤2.19、若miriLBP所对应的表情类别，miriLDTP所对应的表情类别和minwLD所对应 的表情类别中有任意两个相同或Ξ个值均相同时，即可得出待测样本的表情类别；如若 mi riLBP所对应的表情类别，mi riLDTP所对应的表情类别和mi加 LD所对应的表情类别均不相同 时，则采用式(11 )、式(12)和式(13)对最小值进行归一化处理：
[0166] 步骤2.20、从化bp，Rwld和化DTP中选取出最小值，并将最小值对应的表情类别作为待 测样本的表情类别；
[0167] 步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中 所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图 像；
[0168] 步骤3、对待测样本的遮挡部分进行重构：
[0169] 如图2a和2b所示，左上角第一幅图像对应的是无遮挡情况，其余的图像对应的是 本发明中设及的屯种遮挡类型。包括Ξ种遮挡面积不同的随机遮挡，眼睛块遮挡，嘴己块遮 挡，墨镜遮挡和口罩遮挡。Ξ种遮挡面积不同的随机遮挡包括遮挡区域为10 X 10像素，20 X 20像素，30X30像素大小的遮挡。眼睛块的遮挡是在眼睛部位添加了两个黑色的矩形块，嘴 己块的遮挡是在嘴己部位添加了一个黑色的矩形块，墨镜遮挡是在眼睛部位添加了类似于 墨镜的遮挡，口罩遮挡是在嘴己部位添加了类似于口罩的遮挡。
[0170] 步骤3.1、利用式(14)所示的信息赌和最大类间差法检测待测样本中的遮挡部位：
[0171] H(X)=-/xp(x)logp(x)dx (14)
[0172] 式（14)中，X是一个随机变量，X是变量X的取值范围中的一个值，HO表示信息赌的 定义;P(x)是当变量X取值为X时的概率;如果随机变量X的概率分布越大，H(X)也就越大，那 么变量X的不确定性程度也就越高。当变量X每种取值的概率相同时，H(X)达到最大。
[0173] 当X是离散型随机变量时：
[0174]
(15)
[0175] 式(15)中，D(x)是随机变量X的定义域。
[0176] 对于一幅人脸图像而言，随机变量X可看作为图像的像素，D(x)代表图像的灰度级 数，那么H(X)代表图像的信息量大小，也可W表达图像纹理的丰富程度。
[0177] 步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得 到重构后的待测样本；
[0178] 如图3a和3b所示，对于随机遮挡30X30的遮挡情况，首先利用步骤3.1检测待测样 本的遮挡部分，然后利用步骤3.2中得到的最近邻图像的相应部分替换所述遮挡部位，从而 得到重构后的待测样本。
[0179] 步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：
[0180] 步骤4.1、把所述待测样本分为1层图像，每一层图像均由方形，大小均等且互不重 叠的图像块组成，每层图像块的个数为4^，1代表图像块所在的层数，1 = 1，2,3;即下一层 图像由上一层图像的图像块按照长和宽划分成更小的图像块组成；
[0181] 步骤4.2、选取第1层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子 图像的WLD特征;从而获得第1层中所有图像块的WLD特征;将第1层中所有图像块的WLD特征 级联起来，即可得到第1层图像的一维WLD特征;继而获得1层图像的一维WLD特征；
[0182] 步骤4.3、将1层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特 征；
[0183] 步骤4.4、重复步骤4.1-步骤4.3,从而获得所有训练样本的PWLD特征；
[0184] 步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：
[0185] 步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应 的标签;比如在JAFi^人脸表情库中，把所有属于生气运种表情类别的样本设标签为1，把所 有属于厌恶运种表情类别的样本设标签为2,把所有属于恐惧运种表情类别的样本设标签 为3,把所有属于高兴运种表情类别的样本设标签为4,把所有属于中性运种表情类别的样 本设标签为5,把所有属于悲伤运种表情类别的样本设标签为6,把所有属于吃惊运种表情 类别的样本设标签为7。
[0186] 步骤5.2、将所述训练样本的PWLD特征和类别标签作为参数输入SVM分类器，通过 机器学习训练得到一个SVM分类器模型，训练中选用的核函数是径向基核函数。
[0187] 步骤5.3、将所述测试集中任意一个待测样本的PWLD特征和类别标签作为参数输 入到步骤5.2中所得到的SVM分类器模型中，进行分类预测，获得预测的类别；如果预测的类 别和待测样本的类别标签一致，则识别正确；
[0188] 结合下列图表进一步描述本发明的测试结果：
[0189] 实验一、不同类型的遮挡对人脸表情库中的图像产生的影响
[0190] 本实验中选取jAFra人脸表情库和CK人脸表情库，包括jAFra库中屯种基本表情 (生气、厌恶、恐惧、高兴、中性、悲伤、吃惊）的213幅图片，选取每人每类表情的两到Ξ张图 像作为训练集中的训练样本，一张图像作为测试集中的测试样本。CK库中选取92个对象的 六种基本表情（生气、厌恶、恐惧、高兴、悲伤、吃惊），基于图像序列选取上述92个人中每人 每类表情的两张图像作为训练集中的训练样本，两张图像作为测试集中的测试样本。
[0191 ]表1不同的遮挡在JAFi^人脸表情库和CK人脸表情库上的识别率(单位％ )
[0192]
[0193] ~参见表1所示，不同的遮挡对同一表情库产生不同的影响，相同的遮挡对不同的表胃 情库也有不同的影响。但是从表中可W发现，本发明得到的较高的识别率在90% W上，稍低 的识别率也在70 % W上。
[0194] 实验二、不同方法在不同遮挡情况下对不同表情库中的样本产生的影响。
[0195] 实验结果如图4a和图4b所示，图中纵坐标表示识别率，横坐标表示遮挡类型，其中 随机遮挡10、随机遮挡20和随机遮挡30,分别表示遮挡大小为10X10,20X20和30X30。从 图中可W看出在JAF阳人脸表情库和CK人脸表情库中，与PCA，SpPCA和Gabor方法相比，本发 明的方法达到了较高的识别率。
[0196] 实验Ξ、不同方法对于墨镜和口罩遮挡不同方法识别率之间的比较。
[0197] 本发明中对于口罩遮挡的处理不同于其它类型的遮挡，其原因在于，口罩遮挡的 面积较大，且遮挡部位固定，所W在本次实验中求取相似度时，将图像进行了分割，使用了 图像的非遮挡部分，遮挡重构效果如图5所示。
[0198] 表2不同方法在墨镜和口罩遮挡情况下的识别率(单位％)
[0199]
【主权项】
1. 一种基于部分遮挡图像的人脸表情识别方法，其特征是按如下步骤进行： 步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理： 用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图像;再 利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸图像进 行尺度归一化处理，从而获得纯人脸图像集； 以所述纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集； 步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样 本同类别且最近邻图像； 步骤2.1、提取训练集中所有训练样本的LBP特征； 步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵1^>表 示，从而获得N类表情中所有训练样本的LBP特征矩阵其中，mk是第k类表情中包含的训练样本个数，η是所有训练样本所提取到的LBP特征维 数;\^?-i表示第k类表情中第mk-l个训练样本的第n-Ι个LBP特征值;1彡k彡N; 步骤2.3、利用式(1)计算第k类表情中所有训练样本的LBP特征均值矩阵巧^，从而获得 N类表情中所有训练样本的LBP特征均值矩阵尤册，…，f;，···,无 y :步骤2.4、提取训练集中所有训练样本的LDTP特征； 步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵表示， 从而获得N类表情中所有训练样本的LDTP特征矩阵足，…，X:yj:其中，q是所有训练样本所提取到的LDTP特征维数;·Vw表示第k类表情中第mk_l个训 练样本的第q-Ι个LDTP特征值； 步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵，从而获 得N类表情中所有训练样本的LDTP特征均值矩阵= ，…，，…，:步骤2.7、提取训练集中所有训练样本的WLD特征； 步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(χ。)和方向 Θ^Χο)：式(3)、式(4)和式(5)中，X。表示任意一个训练样本中3X3 素值，^表示中心像素值X。的第i个邻域的像素值，Ρ表示邻域像素的个数；并有： = % -太1，= 步骤2.7.2、利用式(6)将所述方向θ'(χ。)进行量化，获得T个方向Φ?:步骤2.7.3、将所述任意一个训练样本的差分激励ξ(χ。)和方向θ'(X。)联合起来构造相 应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励； 步骤2.7.4、将所述二维WLD直方图转化为一维WLD直方图，以所述一维WLD直方图作为 相应训练样本的WLD特征;从而获得所有训练样本的WLD特征； 步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵表示， 从而获得Ν类表情中所有训练样本的WLD特征矩阵，不^，…，…，:其中，Ρ是所有训练样本所提取到的WLD特征维数；、-^表示第k类表情中第mk-l个训 练样本的第P-1个WLD特征值； 步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵_Ζ〗ΙΖ)，从而获 得Ν类表情中所有训练样本的WLD特征均值矩阵={尤ω，…，，…，尤U :步骤2.10、对测试集中的任意一个待测样本提取LBP特征，记为Ylbp= [yo, yi......, yn-i]； 步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属于第k 类表情的所有训练样本的LBP特征均值间的相似度|21#|，从而获得所述待测样本的LBP特征 与N类表情中所有训练样本的LBP特征均值间的相似度集合·}| ZLBP 15\^LBP I 5 * * * 5\ZLBP 15 * *' ? \4bp^式(8)中，#'表示第k类表情中所有训练样本LBP特征均值的第i个值，71表示待测样本的 LBP特征中第i个值； 步骤2· I2、从所述相似度集合丨[^|，卜丨βΡ|，.·.，卜丨中选取最小值，并记为 minLBP； 步骤2. 13、对测试集中的任意一个待测样本提取LDTP特征，记为YLDTP= [y7 o，y 71……,γ%-ι]； 步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中属于 第k类表情的所有训练样本的LDTP特征均值间的相似度|4^|，从而获得所述待测样本的 L D T P特征与N类表情中所有训练样本的L D T P特征均值间的相似度集合 {l^ZOTi5 5 ZLDTP ZLDTP ? " - ：式(9)中，#表示第k类表情中所有训练样本的LDTP特征均值的第i个值，表示待测 样本的LDTP特征中第i个值； 步骤2.15、从所述相似度集合DTP 15 |2ZZ)JP I ^ * * * > I I，I I}中选取最小值，并记为 minLDTP； 步骤2.16、对测试集中的任意一个待测样本提取WLD特征，记为Ywld= [y〃o，y〃i......， 步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属于第k 类表情的所有训练样本的WLD特征均值间的相似度从而获得所述待测样本的WLD特征与 n类表情中所有训练样本的wld特征均值间的相似度集合I，|gI￡) I,…，|^Ζβ I，…:式（10)中，表示第k类表情中所有训练样本WLD特征均值的第i个值，y%表示待测样 本的WLD特征的第i个值； 步骤2.18、从所述相似度集合"{ΙζΙρ^Ι,Ιζ^^Ι,-,Ιζ^ρ?Γ-,Ιζ?ρΙ中选取最小值，并记为 minwLD； 步骤2 · 19、若minLBP所对应的表情类别，minLDTP所对应的表情类别和mimD所对应的表情 类别中有任意两个相同或三个值均相同时，即可得出待测样本的表情类别；如若minLBP所对 应的表情类别，π?ιω ΤΡ所对应的表情类别和mimD所对应的表情类别均不相同时，则采用式 (11 )、式（12)和式（13)对最小值进行归一化处理：步骤2.20、从RLBP，RWLD和Rldtp中选取出最小值，并将最小值对应的表情类别作为待测样 本的表情类别； 步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中所有 训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图像； 步骤3、对待测样本的遮挡部分进行重构： 步骤3.1、利用式(14)所示的信息熵和最大类间差法检测待测样本中的遮挡部位： H(X) =-/xp(x)logp(x)dx (14) 式（14)中，X是一个随机变量，x是变量X的取值范围中的一个值，H()为信息熵;p(x)是 当变量X取值为X时的概率； 当X是离散型随机变量时：式(15)中，D(x)是随机变量X的定义域； 步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得到重 构后的待测样本； 步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征： 步骤4.1、把所述待测样本分为1层图像，每一层图像均由方形，大小均等且互不重叠的 图像块组成，每层图像块的个数为4H，1代表图像块所在的层数； 步骤4.2、选取第1层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子图像 的WLD特征;从而获得第1层中所有图像块的WLD特征;将第1层中所有图像块的WLD特征级联 起来，即可得到第1层图像的一维WLD特征;继而获得1层图像的一维WLD特征； 步骤4.3、将1层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特征； 步骤4.4、重复步骤4.1-步骤4.3，从而获得所有训练样本的PWLD特征； 步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别： 步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应的标 签； 步骤5.2、将所述训练样本所提取的PWLD特征和类别标签作为参数输入SVM，通过机器 学习，训练得到SVM分类器模型； 步骤5.3、将所述测试集中任意一个待测样本所提取的PWLD特征和类别标签作为参数， 输入到所述SVM分类器模型中，进行分类预测，获得预测的类别。
【文档编号】G06K9/00GK105825183SQ201610147969
【公开日】2016年8月3日
【申请日】2016年3月14日
【发明人】王晓华, 李瑞静, 胡敏, 金超, 侯登永, 任福继
【申请人】合肥工业大学