一种基于人脸特征和掌纹特征融合的身份识别方法
【技术领域】
[0001] 本发明属于模式识别中的生物特征识别领域，主要涉及一种基于单幅图像的人脸 特征和掌纹特征融合的身份识别方法。
【背景技术】
[0002] 生物特征识别技术是利用人体本身所固有的物理特征或者行为特征，通过图像处 理和模式识别等方法来鉴别个人身份的技术。用于生物特征识别的生物特征必须满足以 下四个条件：普遍性，即每个人自身都具有该特征；唯一性，也称作可辨别性，即任何一个 人所具有的该特征跟其他人都不相同；可测量性，即该特征在一定技术条件下可具体测量； 稳定性，即该特征至少在一段时间内能够保持不变。同时，实际的生物特征识别系统一般还 需要具有较高的辨别能力，即可以实现很高的识别率，较高的用户接受度等以及较强的防 欺骗性特点。目前，生物特征识别技术主要有指纹、人脸、虹膜、掌纹、手形以及静脉等。
[0003] 人脸识别是最为常见的一种生物特征识别技术，是一种直接、友好、方便、对使用 者无任何心理障碍的识别方法，有着普遍性强，稳定性一般，可采集行强，分辨能力弱，易接 受性强，防止欺骗性弱的特点。目前主流的人脸识别方法如下：
[0004] (1)、基于几何特征的方法：检测脸部器官如眼睛、眉毛、鼻子、嘴巴和下巴等，利用 各个器官的位置、大小及相互之间的空间分布关系来识别人脸；
[0005] (2)、基于子空间的方法：将人脸图像经过投影变换投射至子空间中，由于投影变 换具有非正交、非线性的特性，因此子空间中的人脸表示更具分辨力；
[0006] (3)、基于局部特征的方法：利用各类局部算子计算出相应的人脸图像，通过统计 其直方图，利用直方图信息进行识别。
[0007] 掌纹识别技术是由中国学者首先提出来的并在研宄方面一直保持领先水平的一 种主流生物特征识别技术，具有分辨能力强，易接受性强，防止欺骗性较强的特点。经过多 年的研宄和开发，掌纹识别技术已日臻成熟，已具备了规模产业化的条件。
[0008] 掌纹的识别过程中可以利用的特征信息包括三大主线特征、几何特征、褶皱特征 及掌纹中心三角区域等；识别的算法也有基于掌线、基于纹理、基于相关、基于表征、基于方 向特征等几大类。识别的整体过程也相类似的包含了掌纹ROI区域（即掌纹图像感兴趣区 域）分割、归一化、特征提取和匹配识别几个阶段。
[0009] 和其他生物特征识别技术相比，人脸特征的社会性、直观性，使其在同时具有既可 以被计算机识别，也可以被人眼识别的特点，具有其他生物特征识别技术不可替代的特性。 但是单模态的人脸识别技术在光照不足、面貌修饰等情况下，识别准确率不够高，难以满足 应用的精度要求。目前，单模态的掌纹认证技术的识别准确率很高，但是掌纹比较难以采 集，特征的公开性、社会性不足，人眼难以分辨出掌纹对应人的身份。
【发明内容】
[0010] 本发明是针对现有的单模态识别技术存在的不足，提出一种基于人脸特征和掌纹 特征融合的身份识别方法，以期能对人脸特征和掌纹特征进行融合，从而提高身份识别正 确率和适用性的同时，保证安全性。
[0011] 本发明为解决技术问题采用如下技术方案：
[0012] 本发明一种基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法的特点 是按如下步骤进行：
[0013] 步骤1、假设存在由N幅训练图像组成的图像数据库C = {Cl，C2，…，Cn，…，cN}，C n 表示第η幅训练图像；I < η < N ;所述第η幅训练图像cn中包括同一个人的互不重叠的人 脸图像fn和手掌图像P n;
[0014] 步骤2、对所述第η幅训练图像Cn中的人脸图像fn采用Haar特征和Adaboost分 类器进行检测和分割，获得第η幅人脸区域< ;
[0015] 步骤3、对所述第η幅人脸区域r/进行归一化处理，获得第η幅人脸归一化区域 R:, '
[0016] 步骤4、对所述第η幅训练图像Cn中的手掌图像ρ "利用肤色分割方法进行检测， 获得第η幅手掌区域r/;
[0017] 步骤5、对所述第η幅手掌区域< 进行归一化处理，获得第η幅手掌归一化区域 R;:·，
[0018] 步骤6、对所述第η幅人脸归一化区域/?'利用LBP特征算子进行人脸LBP特征的 提取，获得第η幅人脸特征直方图;
[0019] 步骤7、对所述第η幅手掌归一化区域C进行MWLD掌纹特征的提取，获得第η幅 掌纹特征直方图F/;
[0020] 步骤8、重复步骤2-步骤7,从而获得N幅训练图像库C的人脸特征直方图集合 #={<,垮,."^/，."埒}和掌纹特征直方图/^={片 1,/^，."，/,".校};
[0021] 步骤9、采集检测图像E ;所述检测图像E中包括同一个人的互不重叠的人脸图像 fE和手掌图像ΡΕ;
[0022] 步骤10、对所述检测图像E按照步骤2-步骤7进行处理，获得检测图像E的人脸 特征直方图F e和掌纹特征直方图F p;
[0023] 步骤11、利用卡方距离分别计算所述检测图像E的人脸特征直方图Fe与所述人脸 特征直方图集合F =(<,#,···,<，···^}中每个人脸特征直方图的距离，并进行归一化 处理获得人脸特征距离集介,?//.ν2', 的人脸特征直方图匕与所述第η幅人脸特征直方图F/的人脸特征距离；
[0024] 步骤12、利用卡方距离分别计算所述检测图像E的掌纹特征直方图Fp与所述掌纹 特征直方图，…，/，…抆}中每个掌纹特征直方图的距离，并进行归一化处理 获得掌纹特征距离集合;也丨表示所述检测图像E的掌纹 特征直方图&与所述第η幅掌纹特征直方图F/的掌纹特征距离；
[0025] 步骤13、对所述人脸特征距离集合D/5"7 = 也,丨和掌纹特征 距离集合~[啤·'〃/<}进行自适应加权融合处理，将融合后的特征距 离按升序排列，获得最优特征距离集合DIS_;
[0026] 步骤14、若所述最优特征距离集合DIS_中的任一元素都大于所设定的阈值，则 表示身份识别失败，否则，识别成功，返回所述最优特征距离集合DIS_中最小距离所对应 人的身份信息。
[0027] 本发明所述的基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法的特 点也在于，所述步骤7是按如下步骤进行：
[0028] 步骤7. 1、利用MFRAT算法获得所述第η幅训练图像Cn的手掌纹归一化区域％的 能量图t和方向图
[0029] 步骤7. 2、定义映射范围为（_ π /2, π /2);将所述映射范围等分划分为1个区间； [0030] 步骤7.3、定义一个像素为sXs的矩形窗口 W1,，s > 1，且s为奇数；用所述窗口 1对所述第η幅训练图像c "的能量图由左上角按照从左到右，从上到下的顺序扫描；在 扫描过程中，对任意个s X s的矩形区域，s > 1，且s为奇数，按步骤7. 4和步骤7. 5进行处 理：
[0031] 步骤7. 4、将所述矩形区域的中心点像素值分别与所述矩形区域内的其他点的像 素值进行求差计算，获得的差值进行累加后得到累积差异值；将所述累加差异值除以所述 矩形区域的中心点像素值后获得差值比率；对所述差值比率进行反正切函数计算，获得优 化后的中心点像素值；
[0032] 步骤7. 5、将所述优化后的中心点像素值映射到所述1个区间中，获得所述优化后 的中心点像素值所在的区间；
[0033] 步骤7. 6、从而获得所述第η幅训练图像~的能量图C中每个像素点在所述1个 区间中所在的区间；
[0034] 步骤7. 7、定义方向范围为（0, 2 π );将所述方向范围等分划分为m个区间；
[0035] 步骤7. 8、将所述第η幅训练图像~的方向图2；"中的每个像素点映射到所述m个 区间中，获得每个像素点所在的区间；
[0036] 步骤7. 9、将所述第η幅训练图像~的能量图f中每个像素点在所述1个区间中 所