一种结合视频人脸和数字唇动密码的身份验证方法
【专利摘要】本发明涉及视频图像处理与模式识别【技术领域】，提供了一种结合视频人脸和数字唇动密码的身份验证方法，主要步骤如下：1)进行人脸区域检测和唇部区域定位预处理；2)利用Gabor滤波进行人脸特征提取并进行视频人脸身份验证；3)唇部区域特征提取并利用隐形马尔科夫模型进行整体唇动特性建模和唇动身份验证；4)对数字唇动密码进行密码子单元划分并进行密码内容识别匹配。本发明利用人的生物特征和行为特征进行身份验证，要求对身份认证匹配同时囊括视频人脸信息、唇动行为特性以及特定密码内容信息，起到了对身份验证的多重保护作用，可加强系统稳定性和安全性，具有良好的应用前景。
【专利说明】一种结合视频人脸和数字唇动密码的身份验证方法
【技术领域】
[0001]本发明涉及视频图像处理与模式识别【技术领域】，特别是一种结合视频人脸和数字唇动密码的身份验证方法。
【背景技术】
[0002]随着信息化建设的飞速发展，人类不断扩大的物理与虚拟活动空间愈来愈多地面临身份确认问题，如私人办公室、个人智能保险箱、计算机用户登录和授权交易系统等等。一种安全、可靠和便捷的身份认证方式不仅能有效的保障个人财产和信息的安全，而且可为人们日常生活带来更多的便利和效益。然而，如何准确的鉴别个人身份，仍然是当今信息时代社会亟待解决的一个关键问题。
[0003]基于生物特征的身份鉴别技术以其特有的普遍性和稳定性给人们提供了一种更为安全、方便以及高效的个人身份鉴别方式，并已逐渐成为替代钥匙、证件和智能卡等传统身份认证技术的最好选择。然而，在一些对准确率和可靠性有严格要求的应用场合，使用者对身份验证系统安全性的要求也逐渐提高。例如:高科技保密部门、政府机要部门、机场、银行、油库和核电站等关系到国家和社会安全的特定场所，此时仅靠单一生物特征往往无法满足实际安全保障的需要。鉴于入侵者很难同时伪造出多种生物特征，多生物特征相结合的技术利用多个可鉴别的身份信息，在一定程度上能弥补单一生物特征识别的不足，具有更高的稳定性和防伪能力，从而达到降低误识率和实现高精度鉴别系统的要求。然而，基于多生物特征融合的身份验证技术需要多种不同数据捕获设备进行数据源获取，验证系统设备装置造价高，不易普及。
[0004]随着生物特征识别技术的不断完善与发展，研究者发现常用的生物特征并不具有保密性。例如人脸、指纹、掌纹和声音等生物特征很容易被套取或模仿，导致基于这些生物特征的身份验证系统不能有效的识别冒名顶替者，从而缺乏一定安全保障。
[0005]个人密码信息作为私人信息安全保护的核心和基础，不仅具有保护信息的机密性，而且有数字签名和身份验证等安全性功能，被广泛应用于各项社会和经济活动当中。然而，传统的个人密码信息和用户之间缺乏必然的联系，系统无法确认密码使用者的身份。据文献查证，同时利用生物特性和个人密码信息来增强身份验证系统安全性的方法通常是将手动输入密码与生物特性分开进行认证匹配，此种方法一般需多种传感器设备来分别获取生物信息和密码信息，应用起来较为不便。
[0006]针对个人密码信息与生物特征直接融合方式，在当前的生物特征识别系统中，采用静态数据输入的人脸、指纹、掌纹、虹膜等模式无法动态的植入个人安全密码信息，语音信号虽然易于嵌入个人密码信息，但读出的私人密码很容易被旁人察觉和窃取，从而缺乏隐私性和安全性。
[0007]近年来，研究者发现唇部区域的动态视觉信息不仅包含说话者自身嘴唇固有的生理特点(如嘴唇形状、颜色、纹理等)，而且具有丰富的运动视觉行为特点(包括口腔中牙齿舌头的出现、唇动变化差异性等)，可为身份验证提供非常有用的信息。依此特性，在唇动数据获取过程中，作为个人隐私和安全性保障的个人密码可以伴随着唇动特性一起(即唇动密码)构成身份验证的双重砝码。同时，在唇动数据获取过程中，说话时的视频人脸信息同样能为身份验证提供非常丰富的视觉信息。
【发明内容】
[0008]本发明的主要目的在于提出了融合生物特征和个人密码信息的方案，在仅需单一视频传感器设备的情况下，提供了一种结合视频人脸和数字唇动密码的身份验证方法。
[0009]本发明采用如下技术方案:
[0010]一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，预先设置有身份信息模型数据库，该数据库存储有每个注册人的视频人脸模型、唇动身份模型和唇动密码模型，以供测试时的验证匹配使用，具体验证步骤如下:
[0011]I)对输入的测试视频进行人脸区域和唇部区域提取；
[0012]2)对提取到的人脸区域进行下采样，然后采用Gabor小波变换提取人脸特征向量，再利用PCA方法对经过Gabor小波变换后的特征向量的系数进行降维，最后将降维后的特征向量与身份信息模型数据库中存储的视频人脸模型进行相似度度量来判断是否匹配，若匹配，则人脸身份信息验证通过，进入步骤3)，若否，则验证失败；
[0013]3)对提取到的唇部区域进行DCT特征提取获得部分代表性系数作为特征，并与身份信息模型数据库中存储的唇动身份模型进行最大似然估计来进一步判断是否匹配，若匹配，则唇动身份信息验证通过，进入步骤4)，若否，则验证失败；
[0014]4)提取到的唇部区域采用PCA特征提取和几何特征提取，然后进行数字唇动密码序列划分，将划分后的唇动密码子单元序列与身份信息模型数据库中存储的唇动密码模型进行匹配，若匹配，则唇动密码信息验证通过，若否，则验证失败。
[0015]优选的,在步骤2)中，所述Gabor小波变换是指,对于给定的像素点(x, y),其变换形式如下:
【权利要求】
1.一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，预先设置有身份信息模型数据库，该数据库存储有每个注册人的视频人脸模型、唇动身份模型和唇动密码模型，以供测试时的验证匹配使用，具体验证步骤如下: 1)对输入的测试视频进行人脸区域和唇部区域提取； 2)对提取到的人脸区域进行下采样，然后采用Gabor小波变换提取人脸特征向量，再利用PCA方法对经过Gabor小波变换后的特征向量的系数进行降维，最后将降维后的特征向量与身份信息模型数据库中存储的视频人脸模型进行相似度度量来判断是否匹配，若匹配，则人脸身份信息验证通过，进入步骤3)，若否，则验证失败； 3)对提取到的唇部区域进行DCT特征提取获得部分代表性系数作为特征，并与身份信息模型数据库中存储的唇动身份模型进行最大似然估计来进一步判断是否匹配，若匹配，则唇动身份信息验证通过，进入步骤4)，若否，则验证失败； 4)提取到的唇部区域采用PCA特征提取和几何特征提取，然后进行数字唇动密码序列划分，将划分后的唇动密码子单元序列与身份信息模型数据库中存储的唇动密码模型进行匹配，若匹配，则唇动密码信息验证通过，若否，则验证失败。
2.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤2)中，所述Gabor小波变换是指，对于给定的像素点(x，y)，其变换形式如下:
其中
，σ = , u 和 V 分别决定了 Gabor小波的方向系数和频域尺度因子，k为总方向数，11.11为范式操作。
3.如权利要求2所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，对于灰度变换后测试视频中一帧人脸图像I的Gabor小波变换特征可以表示为:在给定像素点(x，y)处，该像素在方向系数u和频域尺度V下的特征向量可以表示为:Gv，u(x，y)=Mv；u(x, y) *exp(i Θ v，u(x, y))，其中 Mv，u(x, y)为幅度，9v，u(x,y)为相位角度，该 Mv，u(x, y)即为需要进行降维的特征向量的系数。
4.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤2)中，所述的相似度度量是采用两个特征向量之间的余弦距离来进行相似度度量。
5.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤3)中，所述DCT特征提取是指:对提取的MXN尺度大小的唇部区域进行DCT变换，M为图像的长度，N为图像的宽度，变换形式如下:
其中，α = 0，1，...，Μ_1，β = 0，1，...，Ν_1;当 α = 0，β = O 时，C(Ci) == VP;其他情况，C(a) == ^ ； F(a，β)为变换后的系数矩阵，对变换后系数矩阵的区域左上角数据进行zigzag扫描，取得前r个代表性系数Fr (I, 2，...，r)作为 DCT 特征向量，0〈r ≤ M.N。
6.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤3)中，通过特征提取后的观测集与身份信息模型数据库中存储的唇动身份模型之间的最大似然估计值来匹配，若最大似然估计值大于预先设定的阈值，则唇动身份信息验证通过。
7.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤4)中，所述的PCA特征提取包括:提取P个图像序列作为训练样本，每一个构成一个特征向量Xi，即Xi的维数为D = MXN，i = 1,2,…，P ;其中，M为图像的长度，N为图像的宽度，由P个特征向量构成的一个样本向量集:Ix1,…，xP}，，其余操作如下: 4.1求样本向量集的平均向量，
4.2求样本向量集的偏差矩阵Y = Iy1, J2,…，yp},其中X =h， 4.3求样本协方差矩阵:
, 4.4求该协方差矩阵的特征值Yi和特征向量ei;选取保留前m个较大特征值所对应的特征向量作为主成分的正交基，并用做提取的特征向量。
8.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，在步骤4)中，所述几何特征提取获取的几何参数特征包括模型宽度参数、模型高度参数和区域面积参数。
9.如权利要求1所述的一种结合视频人脸和数字唇动密码的身份验证方法，其特征在于，所述身份信息模型数据库是预先通过输入的注册人的训练视频，进行人脸区域和唇部区域特征提取后，分别建立的视频人脸模型、唇动身份模型和唇动密码模型的数据库，以供身份验证使用。
【文档编号】G06K9/00GK104200146SQ201410436154
【公开日】2014年12月10日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】柳欣, 张晓明, 彭淑娟, 王靖 申请人:华侨大学