人脸3D特征身份信息库的建立方法及设备与流程
本发明涉及人脸3D特征身份信息库的建立方法领域，特别是涉及一种人脸3D特征身份信息库的建立方法及设备。
背景技术：
信息安全问题已经引起社会各界的广泛重视。保障信息安全的一个主要途径就是对信息使用者的身份进行准确鉴别，通过鉴别结果进一步判断用户获取信息的权限是否合法，从而达到保证信息不被外泄和保障用户合法权益的目的。因此，可靠的身份识别是非常重要和必要的。
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，人脸识别技术作为一种更加安全、方便的个人身份鉴别技术，越来越受到关注。传统的人脸识别技术为2D人脸识别，2D人脸识别没有深度信息，容易受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此难以进行精确的人脸识别。
技术实现要素：
本发明提供一种人脸3D特征身份信息库的建立方法及设备，能够解决现有技术存在的难以进行精确的人脸识别的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种人脸3D特征身份信息库的建立方法，该方法包括以下步骤：采集个人的人脸RGBD图集，其中，该个人的身份信息为已知；通过所述人脸RGBD图集获取该个人的人脸3D特征信息；将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库。
其中，所述人脸3D特征身份信息库对所述身份信息进行层级化归类管理。
其中，所述层级包括个人属性层级和群体属性层级。
其中，所述将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库的步骤之后，还包括：对所述人脸3D特征身份信息库进行人脸识别训练。
其中，所述对所述人脸3D特征身份信息库进行人脸识别训练的步骤包括：采集已知身份信息的测试人的人脸RGBD图集；从所述测试人的人脸RGBD图集中获取该测试人的人脸3D特征信息；将获取的所述测试人的人脸3D特征信息与所述人脸3D特征身份信息库中的人脸3D特征信息进行比对；若比对结果正确，则将所述测试人的人脸RGBD图集、对应的所述人脸3D特征信息和所述身份信息保存到所述人脸3D特征身份信息库中。
其中，所述测试人包括已在所述人脸3D特征身份信息库中保存有个人信息的个人和未在所述人脸3D特征身份信息库中保存有个人信息的个人。
其中，所述采集个人的人脸RGBD图集的步骤还包括：采集该个人的人脸RGB图集；所述通过所述人脸RGBD图集获取该个人人脸3D特征信息的步骤还包括：通过所述人脸RGB图集获取该个人的人脸2D特征信息；所述将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库的步骤还包括：将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息和所述人脸2D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库。
其中，通过所述人脸RGBD图集获取该个人人脸3D特征信息的步骤包括：通过所述RGBD人脸图像采集人脸的特征点；根据所述特征点建立人脸彩色3D网格；根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；对所述特征值和所述连接关系进行分析以获取所述人脸3D特征信息。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种建立人脸3D特征身份信息库的设备，该设备包括第一采集模块、第一信息获取模块和信息库模块；第一采集模块用于采集个人的人脸RGBD图集，其中，该个人的身份信息为已知；第一信息获取模块与所述第一采集模块连接，用于通过所述人脸RGBD图集获取该个人的人脸3D特征信息；信息库模块包括存储模块，所述存储模块与所述第一采集模块以及所述第一信息获取模块连接，用于将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息以获得个人信息，并将所述个人信息保存，以形成人脸3D特征身份信息库。
其中，所述信息库模块还包括管理模块，所述管理模块与所述存储模块连接，所述管理模块用于对所述身份信息进行层级化归类管理。
其中，所述层级包括个人属性层级和群体属性层级。
其中，所述建立人脸3D特征身份信息库的设备还包括训练模块，所述训练模块与第一采集模块、第一信息获取模块以及所述信息库模块连接，用于对所述人脸3D特征身份信息库进行人脸识别训练。
其中，所述训练模块包括控制模块和比对模块；所述控制模块用于控制所述第一采集模块采集已知身份信息的测试人的人脸RGBD图集，控制所述第一信息获取模块从所述测试人的人脸RGBD图集中获取该测试人的人脸3D特征信息；所述比对模块与所述控制模块连接，用于将所述获取的所述测试人的人脸3D特征信息与所述人脸3D特征身份信息库中的人脸3D特征信息进行比对；所述控制模块还与所述存储模块连接，所述控制模块还用于在比对结果正确时，控制所述存储模块将所述测试人的人脸RGBD图集、对应的人脸3D特征信息和所述身份信息保存到所述人脸3D特征身份信息库中。
其中，所述测试人包括已在所述人脸3D特征身份信息库中保存有个人信息的个人和未在所述人脸3D特征身份信息库中已保存保存个人信息的个人。
其中，所述设备还包括第二采集模块和第二信息获取模块；所述第二采集模块用于采集该个人的人脸RGB图集；第二信息获取模块与所述第二采集模块连接，用于通过所述人脸RGB图集获取该个人的人脸2D特征信息；所述存储模块还与所述第二采集模块以及第二信息获取模块连接，用于将该个人的人脸2D特征信息与标识了身份信息的人脸3D特征信息保存到所述人脸3D特征身份信息库中。
其中，述第一信息获取模块进一步包括第三采集模块、网格建立模块、计算模块和分析模块；第三采集模块与所述第一采集模块连接，用于通过所述RGB人脸图像采集人脸的特征点；网格建立模块与所述第三采集模块连接，用于根据所述特征点建立人脸彩色3D网格；计算模块与所述网格建立模块连接，用于根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；分析模块与所述计算模块连接，用于分析所述特征值和所述连接关系以获取所述人脸3D特征信息。
本发明的有益效果是：区别于现有技术的情况，本发明通过人脸RGBD图集获得人脸3D特征信息，再将个人身份信息标识到该个人对应的人脸3D特征信息并一起保存而形成人脸3D特征身份信息库以用于人脸识别，由于人脸3D特征信息包括了颜色信息和深度信息，可以建立成人脸骨架，因此，该3D信息图库中的人脸信息更加全面，在进行人脸识别的时候，能识别得更加精确，并且，由于该D信息图库中的人脸信息是3D信息，因此人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对人脸识别进行影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图；
图2是本发明实施例提供的一种人脸3D特征身份信息库的示意图；
图3是本发明实施例提供的一种人脸3D特征身份信息库的身份信息层级化归类管理的示意图；
图4是本发明实施例提供的一种人脸3D特征身份信息库的单个人的人脸3D特征信息层级化归类管理的示意图；
图5是本发明另一实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图；
图6是图5中步骤S24的流程示意图；
图7是本发明实施例提供的一种人脸3D特征身份信息库进行识别训练时的示意图；
图8是本发明实施例提供的另一种人脸3D特征身份信息库进行识别训练时的示意图；
图9是本发明又一实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图；
图10是本发明实施例提供的一种建立人脸3D特征身份信息库的设备的结构示意图；
图11是本发明实施例提供的另一种建立人脸3D特征身份信息库的设备的结构示意图；
图12是本发明实施例提供的又一种建立人脸3D特征身份信息库的设备的结构示意图；
图13是本发明实施例提供的一种建立人脸3D特征身份信息库的实体装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图。
本实施例的人脸3D特征身份信息库的建立方法包括以下步骤：
S11：采集个人的人脸RGBD图集，其中，该个人的身份信息为已知。
步骤S11中，人脸RGBD图集的采集可以通过Kinect传感器进行，RGBD人脸图像包括人脸的颜色信息(RGB)和深度信息(Depth)，相比传统的2D图像增加了深度信息，该人脸RGBD图集包括多个人的人脸RGBD图集，同一个人的人脸RGBD图集中可以包括该人脸多个角度的多个RGBD图像。
个人身份信息可以包括个人的姓名、性别、年龄、国籍、籍贯、联系方式、工作单位，部门、单位地址等等个人基本的信息。
S12：通过人脸RGBD图集获取该个人的人脸3D特征信息。
具体地，步骤S12包括：
S121：通过RGBD人脸图像采集人脸的特征点。该步骤中，通过采集人脸元素来进行特征点的采集，其中，人脸元素包括：眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴中的一个或者多个。特征点可以通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等来获取。
举例而言，人脸关键特征点的定位方法：选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点和2个嘴角点。在此基础上可以容易地获得与识别有关的人脸各器官特征以及扩展的其他特征点位置，用于进一步的识别算法。
在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征(眼睛或嘴的轮廓)，但从人类视觉特性出发，充分利用边缘及角点的特征来进行人脸关键特征点的定位，则会大大提高其可靠性。
其中选择Susan(Smallest Univalue Segment Assimilating Nucleus)算子用于提取局部区域的边缘和角点特征。根据Susan算子的特性，它既可用来检测边缘，又能用来提取角点。因此与Sobel、Canny等边缘检测算子相比较而言，Susan算子更适合进行人脸眼部和嘴巴等特征的提取，尤其是对眼角点和嘴角点的自动定位。
以下是Susan算子的介绍：
用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。
具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，如下式：
式中，c(r,r0)为模板内属于USAN区域的像素的判别函数，I(r0)是模板中心像素(核)的灰度值，I(r)为模板内其他任意像素的灰度值，t是灰度差门限。它影响检测到角点的个数。t减小，获得图像中更多精细的变化，从而给出相对较多的检测数量。门限t必须根据图像的对比度和噪声等因素确定。则图像中某一点的USAN区域大小可由下式表示：
其中，g为几何门限，影响检测到的角点形状，g越小，检测到的角点越尖锐。(1)t,g的确定门限g决定了输出角点的USAN区域的最大值，即只要图像中的象素具有比g小的USAN区域，该点就被判定为角点。g的大小不但决定了可从图像中提取角点的多寡，而且如前所述，它还决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量(尖锐程度)，g就可以取一个固定不变的值。门限t表示所能检测角点的最小对比度，也是能忽略的噪声的最大容限。它主要决定了能够提取的特征数量，t越小，可从对比度越低的图像中提取特征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图像，应取不同的t值。SUSAN算子有一个突出的优点，就是对局部噪声不敏感，抗噪能力强。这是由于它不依赖于前期图像分割的结果，并避免了梯度计算，另外，USAN区域是由模板内与模板中心像素具有相似灰度值的像素累加而得，这实际上是一个积分过程，对于高斯噪声有很好的抑制作用。
SUSAN二维特征检测的最后一个阶段，就是寻找初始角点响应的局部最大值，也就是非最大抑制处理，以得到最终的角点位置。非最大抑制顾名思义，就是在局部范围内，如果中心像素的初始响应是此区域内的最大值，则保留其值，否则删除，这样就可以得到局部区域的最大值。
(1)眼球及眼角的自动定位。在眼球及眼角的自动定位过程中，首先采用归一化模板匹配的方法初步定位人脸。在整个人脸图像中确定出脸部的大概区域。通常的人眼定位算法根据眼睛的谷点性质来定位，而此处则采用将谷点的搜索和方向投影以及眼球的对称性相结合的方法，利用两眼之间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和右上部分进行梯度图积分投影，并对积分投影的直方图进行归一化，首先根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在较大的范围内变化，寻找此区域内的谷点，将检测到的点作为两眼的眼球中心点。
在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测的算法在眼部区域内准确定位内外眼角点。
经过上述算法获得的眼部区域边缘图像，在此基础上对图像中的边缘曲线进行角点提取即可获得准确的两眼内外眼角点位置。
(2)鼻域特征点的自动定位。将人脸鼻子区域的关键特征点确定为两个鼻孔中心连线的中点处，即鼻唇中心点。人脸鼻唇中心点的位置相对较稳定，而且对于人脸图像归一化预处理时也可起到基准点的作用。
以找到的两眼球位置为基础，采用区域灰度积分投影的方法确定两个鼻孔的位置。
首先截取两眼瞳孔宽度的条状区域，进行Y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的Y坐标高度向下搜索，找到第一个谷点的位置(通过调整选择适当的峰谷Δ值，忽略中间可能由于脸部疤痕或眼镜等因素产生的毛刺影响)，将这个谷点作为鼻孔位置的Y坐标基准点；第二步选取以两眼球X坐标为宽度，鼻孔Y坐标上下δ像素(例如，选取δ＝[鼻孔Y坐标-眼球Y坐标]×0.06)为高度的区域进行X方向积分投影，然后对投影曲线进行分析，以两眼瞳孔中点的X坐标作为中心点，分别向左右两侧进行搜索，找到的第一个谷点即为左右鼻孔的中心点的X坐标。计算两个鼻孔的中点作为鼻唇中点，获得鼻唇中心点的准确位置，并划定鼻子区域。
(3)嘴角的自动定位。由于人脸表情的不同可能会引起嘴巴形状的较大变动，而且嘴巴区域比较容易受到胡须等因素的干扰，因此嘴部特征点提取的准确性对于识别影响较大。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定位方式。
在确定了双眼区域以及鼻域特征点的基础上，首先利用区域灰度积分投影的方法确定自鼻孔以下Y坐标投影曲线的第一个谷点(同理，需要通过适当的峰谷Δ值来消除由于胡须、痣痕等因素产生的毛刺影响)作为嘴巴的Y坐标位置；然后选定嘴巴区域，对区域图像利用Susan算子进行处理，得到嘴部边缘图后；最后进行角点提取，便可以获得两个嘴角的精确位置。
S122：根据特征点建立人脸彩色3D网格。
S123：根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系。通过颜色信息可以针对人脸特征的特征点对相关特征值进行度量，该特征值为人脸特征在2D平面上的包括对位置、距离、形状、大小、角度、弧度以及曲率中的一种或者多种的度量，此外，还包括对色彩、亮度、纹理等的度量。例如根据虹膜中心像素点向周围延伸，得到眼睛的全部像素位置，眼睛的形状，眼角的倾斜弧度，眼睛的颜色等等。结合颜色信息和深度信息，则可以计算出特征点之间的连接关系，该连接关系可以是特征点之间的拓扑连接关系和空间几何距离，或者也可以是特征点的各种组合的动态连接关系信息等。据人脸彩色3D网格的度量和计算可以获得包括人脸的各个元素本身的平面信息和每个元素上的特征点的空间位置关系的局部信息，以及各个元素之间的空间位置关系的整体信息。局部信息和整体信息分别从局部和整体上反映隐含在人脸RGBD图上的信息和结构关系。
S124：对特征值和连接关系进行分析以获取人脸3D特征信息。通过对特征值和连接关系的分析，因而可以获得立体的人脸形状信息，从而获得人脸3D特征信息。
举例而言，步骤S124中，可以采用有限元分析方法对特征值、特征点之间的拓扑连接关系和空间几何距离进行分析以获取特征点的3D空间分布特征信息。
具体地，使用有限元分析可对人脸彩色3D网格进行曲面变形。有限元分析(FEA，Finite Element Analysis)即利用数学近似的方法对真实物理系统(几何和载荷工况)进行模拟。还利用简单而又相互作用的元素，即单元，就可以用有限数量的未知量去逼近无限未知量的真实系统。
例如，对人脸彩色3D网格每个线单元进行变形能量分析后，可以建立线单元的单元刚度方程。然后引入约束单元，如点、线、切矢、法矢等约束单元类型。因为曲线曲面要满足稽核设计时对其形状、位置、尺寸以及与相邻曲面的连续性等要求，这些都是通过约束来实现的。本实施例通过罚函数法处理这些约束，最终获得约束单元的刚度矩阵和等效载荷列阵。
扩充变形曲线曲面的数据结构，使得变形曲线曲面的数据结构既包含如阶数、控制顶点和节点矢量等的几何参数部分，还包括表明物理特性和外载荷的一些参数。从而使得变形曲线曲面可以整体表示一些较为复杂的形体表明，大大简化了人脸的几何模型。并且，在数据结构中的物理参数和约束参数唯一决定了人脸的构形几何参数，
通过程序设计来用有限元求解变形曲线曲面，针对不同的约束单元，设置单元入口程序，可计算出任何一种约束的单元刚度矩阵和单元载荷列阵。根据总体刚度矩阵的对称性、带状性和稀疏性，采用变带宽一维数组存储方法对总体刚度矩阵计算。组装时，不仅将线单元或面单元刚度矩阵，也将约束单元刚度矩阵按“对号入座”方式加入到总体刚度矩阵中，同时将约束单元等效载荷列阵加入到总体载荷列阵中，最后采用高斯消去法求解线性代数方程组。
举例而言，人脸曲线曲面的造型方法可用数学模型描述为：
所求变形曲线
u∈Ω＝[0，1]，或曲面
(u，v)∈Ω＝[0，1]×[0，1]是如下极值问题的解
其中，是曲线曲面的能量泛函，它在一定程度上反映曲线曲面的变形特点，赋予曲线曲面物理特性。f1,f2,f3,f4是关于(·)中变量的函数，是参数定义域的边界，Γ′是曲面参数域内的曲线，(μ0，v0)是参数域内某参数值，条件(1)是边界插值约束，条件(2)是边界处连续性约束，条件(3)是曲面内特征线的约束，条件(4)是曲线曲面内点约束。在应用中，能量泛函取成如下形式：
曲线：
曲面：
其中，α、β、γ分别表示曲线的拉伸、玩去、扭曲系数，αij和βij分别为曲面在(μ，v)处局部沿μ，v方向的拉很和玩去系数。
从数学模型中可以看出，变形曲线曲面造型方法同一、协调地处理各类约束，既满足了局部控制，又保证了整体广顺。利用变分原理，求解上述极值问题可转化为求解如下方程：
这里的δ表示一阶变分。式(5)是一个微分方程，由于该方程比较复杂，难于求出精确分析结，因此采用数值解放。例如，采用有限元方法求解。
有限元方法可认为是先根据需要选择合适的插值形式，再求解组合参数，因此所得的解不仅为连续形式，而前处理生成的网格也为有限元分析奠定了基础。
在识别阶段，未知人脸图像与已知人脸模板之间的相似性度量由下式给出：
式中：CiXj分别为待识别人脸的特征和人脸库中人脸的特征，i1,i2,j1,j2,k1,k2为3D网格顶点特征。式中的第一项是机选两个矢量场中对应的局部特征Xj和Ci的相似程度，第二项则是计算局部位置关系和匹配次序，由此可见，最佳匹配也就是最小能量函数时的匹配。
通过上述有限元方法对人脸彩色3D网格进行了曲面变形，使人脸彩色3D网格各个点均不断接近真实人脸的特征点，从而获得立体的人脸形状信息，进而获取了人脸特征点的3D空间分布特征信息。
此外，还可以采用小波变换纹理分析方法对特征值和特征点之间的动态连接关系进行分析，以获取特征点的3D空间分布特征信息。
具体而言，动态连接关系为各种特征点组合的动态连接关系。小波变换是时间和频率的局域变换，它具有多分辨率分析的特征，而且在时域频域都具有表征信号局部特征的能力。本实施例通过小波变换纹理分析经过对纹理特征的提取、分类和分析步骤并结合人脸特征值以及动态连接关系信息，具体包括颜色信息和深度信息，最终获取立体的人脸形状信息，最终再从人脸形状信息中分析提取出人脸细微表情变化下具有不变性的人脸形状信息，进行编码人脸形状模型参数，该模型参数即可作为人脸的几何特征，从而获得人脸特征点的3D空间分布特征信息。
在其它一些实施例提供的人脸3D特征信息的获取方法中还兼容了人脸2D特征信息的获取，人脸2D特征信息的获取方法可以为本领域常规的各种方法。在该些实施例中，在获取人脸3D特征信息的同时，还可以获取人脸2D特征信息，以同时对人脸进行3D和2D的识别，从而进一步提高人脸识别的精确度。
举例而言，三维小波变换的基础如下：
其中，
AJ1为函数f(x,y,z)到空间V3J1的投影算子，
Qn为Hx,Hy,Hz Gx,Gy,Gz的组合；
令矩阵H＝(Hm，k)，G＝(Gm，k)，其中，Hx,Hy,Hz分别表示H作用到三维信号x,y,z方向上，Gx,Gy,Gz分别表示G作用到三维信号x,y,z方向上。
识别阶段，将未知人脸图像小波变换后，取其低频低分辨率子图映射到人脸空间，将得到特征系数，可以使用欧式距离比较待分类特征系数与每个人的特征系数之间的距离，结合PCA算法，根据公式：
式中，K为与未知人脸最匹配的人，N为数据库人数，Y为未知人脸映射到由特征脸形成的子空间上得到的m维向量，Yk为数据库中已知人脸映射到由特征脸形成的子空间上得到的m维向量。
可以理解地，在另一个实施例中，还可以采用是基于二维小波特征的3D人脸识别方法进行识别，首先需要进行二维小波特征提取，二维小波基函数g(x,y)定义为
gmn(x，y)＝a-mng(x′，y′)，a＞1，m，n∈Z
其中，σ为高斯窗口的大小，一个自相似的滤波器函数可通过函数gmn(x,y)对g(x,y)进行适当膨胀和旋转得到。基于以上函数，对图像I(x,y)的小波特征可以定义为
人脸图像二维小波提取算法的实现步骤如下：
(1)通过小波分析获取关于人脸的小波表征，使原图像I(x,y)中的相应特征转化为小波特征向量F(F∈Rm)。
(2)采用小指数多项式(FPP)模型k(x，y)＝(x·y)d(0＜d＜1)使m维小波特征空间Rm投影到更高n维空间Rn中。
(3)基于核线性判决分析算法(KFDA)，在Rn空间中建立类间矩阵Sb和类内矩阵Sw。
计算Sw的标准正交特征向量α1，α2，…，αn。
(4)提取人脸图像显著判别特征向量。另P1＝(α1，α2，…，αq)，其中，α1，α2，…，αq是Sw对应的q个特征值为正的特征向量，q＝rank(Sw)。计算对应于L个最大特征值的特征向量β1，β2，…，βL，(L≤c-1)，其中，c是人脸分类的数量。显著判别特征向量，fregular＝BTP1Ty其中，y∈Rn；B＝(β1，β2，…，βl)。
(5)提取人脸图像不显著的判别特征向量。计算对应于一个最大特征值的特征向量γ1，γ2，…，γL，(L≤c-1)。令P2＝(αq+1，αq+2，…，αm)，则不显著的判别特征向量
在3D人脸识别阶段包括的步骤如下：
(1)对正面人脸进行检测，定位一张正面人脸和一张人脸图像中关键的人脸特征点，比如人脸的轮廓特征点、左眼和右眼、嘴和鼻等。
(2)通过上述提取的二维Gabor特征向量和一个常用的3D人脸数据库重建三维人脸模型。为了重建一个三维人脸模型，使用ORL(Olivetti Research Laboratory)单人脸三维人脸数据库，包括检测到的100张人脸图像。数据库中每个人脸模型都有将近70000个顶点。确定一个特征转换矩阵P，在原有三维人脸识别方法中，该矩阵通常是由子空间分析方法得到的子空间分析投影矩阵，由样本的协方差矩阵对应于前m个最大特征值的特征向量组成。将提取出的小波判别特征向量对应于m个最大特征值的特征向量，组成主特征转换矩阵P’，该特征转换矩阵比原有特征矩阵P对光照、姿态和表情等因素具有更强的鲁棒性，即代表的特征更准确且稳定。
(3)对新生成的人脸模型采用模板匹配及线性判别分析(FLDA)方法进行处理，提取模型的类内差异和类间差异，进一步优化最后的识别结果。
S13：将该个人的身份信息标识到该个人对应的人脸3D特征信息以获得个人信息，并将个人信息保存以形成人脸3D特征身份信息库。
其中，本实施例的个人信息包含了个人的身份信息和人脸3D特征信息，将身份信息标识到人脸3D特征信息之后，后期进行人脸识别时，识别到人脸3D特征信息相同的人，即可获得该人脸3D特征信息对应的身份信息。在一些实施例中，个人信息包括身份信息和人脸3D特征信息与对应的RGBD图集，如图2所示，图2是本发明实施例提供的一种人脸3D特征身份信息库的示意图。
区别于现有技术，本发明通过人脸RGBD图集获得人脸3D特征信息，再将个人身份信息标识到该个人对应的人脸3D特征信息并一起保存而形成人脸3D特征身份信息库以用于人脸识别，由于人脸3D特征信息包括了颜色信息和深度信息，可以建立成人脸骨架，因此，该3D信息图库中的人脸信息更加全面，在进行人脸识别的时候，能识别得更加精确，并且，由于该3D信息图库中的人脸信息是3D信息，因此人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对人脸识别进行影响。
在一个实施例中，人脸3D特征身份信息库对身份信息进行层级化归类管理，其中，层级包括个人属性层级和群体属性层级。
请参阅图3，图3是本发明实施例提供的一种人脸3D特征身份信息库的身份信息层级化归类管理的示意图。
例如，个人属性层级包括了具有唯一性的个人的姓名、性别、年龄、身份证号等信息的集合。群体属性则包括非唯一性的同一公司的员工、同一写字楼的工作人员等群体层级信息。
如图3所示，个人A和个人B在同一公司“一”上班，个人E在公司“三”上班，公司“一”和公司“三”在同一写字楼“1”内。个人C和个人D在同一公司“二”上班，公司“二”在写字楼“2”内。
请参阅图4，图4是本发明实施例提供的一种人脸3D特征身份信息库的单个人的人脸3D特征信息层级化归类管理的示意图。
在其它一些实施例中，人脸3D特征信息也可以进行层级化归类管理，例如，详细到眼睛、鼻子、嘴巴等五官的3D特征信息作为一个层级；脸颊、下巴等的3D特征信息作为一个层级，脸型或者整个头型等的3D特征信息作为一个层级。
可以理解的是，上述身份信息的层级划分和人脸3D特征信息的层级划分仅为本实施例中的一种层级划分方式，其它实施例还可以有其它的划分方式。
层级化归类管理能使人脸识别更加方便、快捷。
例如，个人A在使用支付系统的时候，需要精确地确认是否为个人A本人，此时，在进行人脸识别的时候，需要获取全面的个人A的人脸3D特征信息，例如，需要获取人脸脸型、脸颊、下巴和眼睛、鼻子、嘴巴等五官的人脸3D特征信息，以能够精确确定该用户的个人属性的信息，从而精确地识别是否是个人A本人。
又如，一个写字楼“1”的门禁系统，该门禁系统只需要判断被识别人是否为该写字楼“1”里的工作人员的群体属性，而无需判断该被识别人的姓名、年龄等的个人属性。因此，在经过写字楼门禁系统的时候，门禁系统获取到的人脸RGBD图像可能不够精细，例如，只获取了个人A的人脸侧面的RGBD图像，或者在个人B低头经过门禁系统时，仅获取了个人B脸的上半部的RGBD图像，又或者是个人E步伐较快，因而只获取了个人E的五官较模糊的人脸RGBD图像……门禁系统此时可以调用人脸3D特征身份信息库中群体属性层级的身份信息的识别，例如，门禁系统通过人脸侧面的RGBD图像获取了个人A的人脸侧面脸型和鼻梁的3D特征信息，虽无法判断该个人A是谁，但是根据人脸3D特征身份信息库内保存的信息可知，该写字楼“1”内的工作人员中存在有具有相同的侧面脸型和鼻梁的3D特征信息的工作人员，因而允许个人A进入写字楼“1”。或者，门禁系统通过个人B的脸的上半部的RGBD图像获取个人B的上半部分脸的3D特征信息，根据人脸3D特征身份信息库内保存的信息可知，该写字楼“1”内的工作人员中存在有具有相同的上半部分脸的3D特征信息的工作人员，虽不确定该工作人员就是个人B，但可以允许个人B进入写字楼“1”。又或者，门禁系统通过个人E的五官较模糊的RGBD图像获取个人E的人脸的脸型的3D特征信息，根据人脸3D特征身份信息库内保存的信息可知，虽然无法确认该个人E是谁，但可以确定该写字楼“1”内的工作人员中存在有具有相同的脸型的3D特征信息的工作人员，因而允许个人E该被识别人进入写字楼“1”。如果门禁系统获取了个人C的五官较模糊的人脸RGBD图像，通过该RGBD图像获取了个人C的脸型的3D特征信息，根据人脸3D特征身份信息库内保存的信息可知，写字楼“1”内并没有与该脸型的3D特征信息相似的工作人员，因而门禁系统暂不允许该被识别人进入写字楼“1”，而需要进一步获取该人脸的RGBD图像，以获取更多的人脸3D特征信息来进行判断。
因此，人脸3D特征身份信息库进行层级化归类管理之后，能根据不同的需要来调用不用层级的身份信息，而无需做过多的工作，例如在写字楼的门禁系统，无需辨识到具体的个人属性的身份信息，能节约资源，节省时间，使得人脸识别更加方便、快捷。
请参阅图5，图5是本发明另一实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图。
S21：采集个人的人脸RGBD图集，其中，该个人的身份信息为已知。
S22：通过人脸RGBD图集获取该个人的人脸3D特征信息。
S23：将该个人的身份信息标识到该个人对应的人脸3D特征信息以获得个人信息，并将个人信息保存以形成人脸3D特征身份信息库。
S24：对人脸3D特征身份信息库进行人脸识别训练。
本实施例与上述实施例的区别在于，增加了步骤S24，对人脸3D特征身份信息库进行人脸识别训练能够提高人脸3D特征身份信息库内信息资源的丰富程度，从而提高人脸识别的精确度。
如图6所示，图6是图5中步骤S24的流程示意图。具体地，步骤S24包括：
S241：采集已知身份信息的测试人的人脸RGBD图集。
测试人包括已在人脸3D特征身份信息库中保存有个人信息的个人和未在人脸3D特征身份信息库中保存有个人信息的个人。
其中，测试人的身份信息已知，可以是指测试人的身份信息部分已知或者全部已知，例如，可以是测试人的个人属性层级的身份信息全部或者部分已知，而群体属性层级的身份信息未知，也可以是测试人的群体属性层级的身份信息部分或者全部已知，而个人属性层级的身份信息未知，或者还可以是测试人的个人属性层级的身份信息和群体属性层级的身份新型均全部已知。
S242：从测试人的人脸RGBD图集中获取该测试人的人脸3D特征信息。
步骤S242获取测试人的人脸3D特征信息的方法与上述实施例的步骤S12的方法相同，在此不再赘述。
S243：将获取的测试人的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行比对。
例如，测试人的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息比对，得出该测试人的人脸3D特征信息与人脸3D特征身份信息库中的个人X的人脸3D特征信息的相似度达到预定的阈值。则可判断为该测试人即该人脸3D特征身份信息库中保存个人X，若达不到预定的阈值，则判断该测试人并非该人脸3D特征身份信息库中保存的人。
举例而言，当测试人为人脸3D特征身份信息库中已保存有个人信息的个人时，如果比对结果为该测试人与该人脸3D特征身份信息库中保存的个人信息对应，则表明比对结果正确，进入步骤S244；如果比对结果表示该测试人的个人信息在人脸3D特征身份信息库中并未保存有，则表明比对结果错误，因此需要对该测试人在该人脸3D特征身份信息库中保存的信息进行纠正并进一步丰富该个人的信息。
例如，当测试人为未在人脸3D特征身份信息库中保存个人信息的个人时，如果比对结果为该测试人的信息在该人脸3D特征身份信息库中不存在，则表明比对结果正确，进入步骤S244，以收集该测试人的个人信息；如果比对结果为该测试人为该人脸3D特征身份信息库中的某个人，则表明比对结果错误，需要对该人脸3D特征身份信息库中的某个人的信息进行纠正，并进一步丰富该个人的信息，同时，也将测试人的个人信息保存到人脸3D特征身份信息库中，以提高该人脸3D特征身份信息库信息资源的丰富程度。
S244：将测试人的人脸RGBD图集、对应的人脸3D特征信息和身份信息保存到人脸3D特征身份信息库中。
将识别训练中采集到的测试人的RGBD图集、人脸3D特征信息和身份信息保存到人脸3D特征身份信息库中对应的个人信息中，使得人脸3D特征身份信息库中的信息资源更加丰富，从而利于后期进行人脸识别时的精确度。
举例而言，在初步建立起的人脸3D特征身份信息库中，通过人工的方法将500个人的部分身份信息标识到该500个人对应的人脸RGBD图以及人脸3D特征信息中，保存在人脸3D特征身份信息库中。在识别训练过程中，采集5000或者50000人甚至更多人的RGBD图进行识别训练，测试人的RGBD图上也标识了至少部分个人身份信息，再次保存大量测试人的个人信息，如果测试人为人脸3D特征身份信息库原有的，则可以继续补充该个人的RGBD图、人脸3D特征信息和身份信息。
如图7所示，图7是本发明实施例提供的一种人脸3D特征身份信息库进行识别训练时的示意图。人脸3D特征身份信息库中原保存有个人G的RGBD图集、通过该RGBD图集获取的人脸3D特征信息以及关于个人属性的身份信息，当进行识别训练的时候，采集的个人G的人脸RGBD图集可能包含了更多角度的RGBD图像，从该RGBD图像中可以获取更多的人脸3D特征信息，并且，识别训练时，在个人G的人脸RGBD图集中标识了其工作单位、工作单位所在大楼等的群体属性的身份信息，因此，识别训练时，识别到该测试人与人脸3D特征身份信息库中原保存的个人G的为同一个人，因此，把识别训练时采集个人G的人脸RGBD图集、人脸3D特征信息以及标识的群体属性的身份信息均保存到人脸3D特征身份信息库中个人G的个人信息处，使得人脸3D特征身份信息库中个人G的个人信息更加丰富。
又例如，人脸3D特征身份信息库中并未保存有个人H的任何个人信息，进行识别训练的时候，采集到个人H的人脸RGBD图集，并从该人脸RGBD图集中获取了人脸3D特征信息，并且，该RGBD图集中标识了个人H的至少部分身份信息，如图8所示，图8是本发明实施例提供的另一种人脸3D特征身份信息库进行识别训练时的示意图。识别训练过程中，比对结果为个人H在人脸3D特征身份信息库并没有保存，从而将个人H的个人信息，包括人脸RGBD图集、人脸3D特征信息和身份信息均保存在人脸3D特征身份信息库中，从而在人脸3D特征身份信息库中建立起个人H的档案。
请参阅图9，图9是本发明又一实施例提供的一种人脸3D特征身份信息库的建立方法的流程示意图。
S31：采集个人的人脸RGBD图集和RGB图集，其中，该个人的身份信息为已知。
S32：通过人脸RGBD图集获取该个人的人脸3D特征信息，通过人脸RGB图集获取该个人的人脸2D特征信息。
S33：将该个人的身份信息标识到该个人对应的人脸3D特征信息和人脸2D特征信息以获得个人信息，并将个人信息保存以形成人脸3D特征身份信息库。
本实施例与上述实施例的区别在于，在采集人脸RGBD图集的同时也采集人脸RGB图集，从而不仅能建立人脸骨架，还得获取人脸纹理信息、肤色信息等，结合3D人脸识别和2D人脸识别技术，采用加权平均，如A*g(2D)+B*h(3D)＝C*f(RGBD)来进行人脸识别，从而达到更加精确的识别效果。
具体地，本实施例可以应用于以下情况，例如，需要获取某一被识别人的个人属性的身份信息和群体属性的身份信息时，如果获取的人脸3D特征信息仅能识别出该被识别人的群体属性的身份信息，而无法识别到被识别人的个人属性的身份信息，此时需要结合人脸2D特征信息，通过人脸2D特征信息和人脸3D特征信息对人脸骨架、人脸肤色和纹理信息等进行识别，以得出被识别人的个人属性的身份信息。
请参阅图10，图10是本发明实施例提供的一种建立人脸3D特征身份信息库的设备的结构示意图。
本实施例的建立人脸3D特征身份信息库的设备包括第一采集模块10、第一信息获取模块11和信息库模块12。
具体地，第一采集模块10用于采集个人的人脸RGBD图集，其中，该个人的身份信息为已知。
第一信息获取模块11与第一采集模块10连接，用于通过人脸RGBD图集获取该个人的人脸3D特征信息。
信息库模块12包括存储模块120，存储模块120与第一采集模块10以及第一信息获取模块11连接，用于将该个人的身份信息标识到该个人对应的人脸3D特征信息以获得个人信息，并将个人信息保存，以形成人脸3D特征身份信息库。
请参阅图11，图11是本发明实施例提供的另一种建立人脸3D特征身份信息库的设备的结构示意图。
本实施例的建立人脸3D特征身份信息库的设备包括第一采集模块20、第一信息获取模块21、信息库模块22和训练模块23。
具体地，第一采集模块20用于采集个人的人脸RGBD图集，其中，该个人的身份信息为已知。
第一信息获取模块21与第一采集模块20连接，用于通过人脸RGBD图集获取该个人的人脸3D特征信息。
该第一信息获取模块21包括第三采集模块210、网格建立模块211、计算模块212和分析模块213。
其中，第三采集模块210与第一采集模块20连接，用于通过RGBD人脸图像采集人脸的特征点。
网格建立模块211与第三采集模块210连接，用于根据特征点建立人脸彩色3D网格。
计算模块212与网格建立模块211连接，用于根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系。
分析模块213与计算模块212连接，用于分析特征值和连接关系以获取人脸3D特征信息。
信息库模块22包括存储模块220和管理模块221。
存储模块220与第一采集模块20以及分析模块213连接，用于将该个人的身份信息标识到该个人对应的人脸3D特征信息以获得个人信息，并将个人信息保存，以形成人脸3D特征身份信息库。
管理模块221与存储模块220连接，管理模块221用于对身份信息进行层级化归类管理。其中，层级包括个人属性层级和群体属性层级。
训练模块23与第一采集模块20、第一信息获取模块21以及信息库模块22连接，用于对人脸3D特征身份信息库进行人脸识别训练。
具体而言，训练模块23包括控制模块230和比对模块231。
控制模块230用于控制第一采集模块20采集已知身份信息的测试人的人脸RGBD图集，控制第一信息获取模块21从测试人的人脸RGBD图集中获取该测试人的人脸3D特征信息。其中，测试人包括已在人脸3D特征身份信息库中保存有个人信息的个人和未在人脸3D特征身份信息库中已保存保存个人信息的个人。
比对模块231与控制模块230连接，用于将获取的测试人的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行比对。
存储模块220还用于在比对结果正确时，将测试人的人脸RGBD图集、对应的人脸3D特征信息和身份信息保存到人脸3D特征身份信息库中。
请参阅图12，图12是本发明实施例提供的又一种建立人脸3D特征身份信息库的设备的结构示意图。
本实施例的建立人脸3D特征身份信息库的设备与上述实施例的区别在于，本实施例的设备还包括第二采集模块24和第二信息获取模块25。
具体地，第二采集模块24用于采集该个人的人脸RGB图集。
第二信息获取模块25与第二采集模块24连接，用于通过人脸RGB图集获取该个人的人脸2D特征信息。
存储模块220还与第二采集模块24以及第二信息获取模块25连接，用于将该个人的人脸2D特征信息与标识了身份信息的人脸3D特征信息保存到人脸3D特征身份信息库中。
请参阅图13，图13是本发明实施例提供的一种建立人脸3D特征身份信息库的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。
该智能电子设备包括处理器61、与处理器61耦合的存储器62。
存储器62用于存储操作系统、设置的程序和人脸RGBD图集、人脸3D特征信息和身份信息。
处理器61用于采集个人的人脸RGBD图集，其中，该个人的身份信息为已知；通过所述人脸RGBD图集获取该个人的人脸3D特征信息；将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库。
处理器61还用于对所述人脸3D特征身份信息库进行人脸识别训练。
处理器61还用于采集已知身份信息的测试人的人脸RGBD图集；从所述测试人的人脸RGBD图集中获取该测试人的人脸3D特征信息；将获取的所述测试人的人脸3D特征信息与所述人脸3D特征身份信息库中的人脸3D特征信息进行比对；若比对结果正确，则将所述测试人的人脸RGBD图集、对应的所述人脸3D特征信息和所述身份信息保存到所述人脸3D特征身份信息库中。
处理器61还用于采集该个人的人脸RGB图集；通过所述人脸RGB图集获取该个人的人脸2D特征信息；将该个人的所述身份信息标识到该个人对应的所述人脸3D特征信息和所述人脸2D特征信息以获得个人信息，并将所述个人信息保存以形成人脸3D特征身份信息库。
处理器61还用于通过所述RGBD人脸图像采集人脸的特征点；根据所述特征点建立人脸彩色3D网格；根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；对所述特征值和所述连接关系进行分析以获取所述人脸3D特征信息。
在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明通过人脸RGBD图集获得人脸3D特征信息，再将个人身份信息标识到该个人对应的人脸3D特征信息并一起保存而形成人脸3D特征身份信息库以用于人脸识别，提高了人脸识别的精确度，并且不容易受到人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化的影响。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！