一种快速的人脸特征点初始化方法
【专利摘要】本发明公开了一种快速的人脸特征点初始化方法，属于计算机视觉领域。该方法的实现过程为：首先将训练样本根据姿势不同分为多个训练样本子集，对每个训练样本子集分别提取链式模型和平均特征。对输入的人脸图像，利用动态规划技术结合链式模型由大量可能的特征点分布中快速的搜索最优的特征点分布作为人脸特征点初始化的结果。本发明能有效的对特征点进行初始化，对特征点初始化结果有依赖的特征点检测算法都可以借助本发明所提出的方法提升其检测精度。
【专利说明】
-种快速的人脸特征点初始化方法
技术领域
[0001] 本发明属于图像处理和计算机视觉领域，具体是一种快速的人脸特征点初始化方 法。
【背景技术】
[0002] 人脸特征点检测是一种自动人脸标定算法，其研究目的在于通过对人脸图像进行 分析，获取一组预先定义好的足W描述人脸形状结构的特征点位置信息。作为计算机视觉 领域内的一项基础研究，人脸特征点检测有着重要的研究意义和应用前景。对许多人脸图 像相关的算法，如人脸识别、表情识别、=维人脸重建等，人脸特征点检测往往是其必须的 环节。
[0003] 传统的人脸特征点检测算法主要包括主动形状模型、主动外观模型等。运些方法 通过对输入图像和训练好的形状或者纹理模型进行匹配W确定人脸特征点。可W分为训练 阶段和捜索阶段两个环节。在训练阶段，通过样本对人脸的形状进行学习，通过最小化目标 函数确定模型参数。在捜索阶段，先根据先验知识确定特征点的大致位置，然后通过一定的 捜索策略，寻找与模型最匹配的特征点作为输出特征。近年来，基于级联回归的人脸特征点 检测算法取得很好的检测效果，该方法通过训练多个弱回归器进行级联回归，逐步逼近真 实的特征点。其算法首先对图像进行特征提取，根据提取到的特征训练一个最优的弱回归 器，弱回归器对每个训练样本输出一组向量用于更新样本的特征点分布。完成更新后，用新 的特征点分布进行下一轮的特征提取与弱回归器训练。不断重复运个过程W逼近真实的特 征点分布。
[0004] 然而，运些方法在实际应用中对特征点的初始化结果都较为敏感。如果特征点初 始化结果与真实位置差异过大，会影响后续的特征点检测精度。常规的人脸特征点初始化 方法通常只针对正脸，无法处理姿势变化的情况。一些方法通过先通过传统方法检测眼睛 等显著的特征点，在通过插值对其他特征点进行初始化。运些方法虽然能取得一定的效果， 但在一些环境下，对显著的特征点检测比较困难，而且也会影响特征点检测的效率。
[0005] 因此，需要提出一种高效可靠的人脸特征点初始化方法，W增强人脸特征点检测 算法的鲁棒性。
【发明内容】
[0006] 本发明的目的是解决人脸特征点检查算法对特征点初始化结果敏感的问题。通过 设计一种人脸特征点初始化算法，快速的确定输入人脸图像的特征点初始位置，W特征后 续人脸特征点检测的精度。本发明通过如下技术方案实现。
[0007] -种快速的人脸特征点初始化方法，该方法包括:根据不同头部姿势即人脸图像 姿态对训练样本进行划分成多个子类;对每个子类，分别提取链式模型、平均特征，并将所 有特征点分布加入特征点分布集合中；对输入的人脸图像，利用动态规划技术快速地由多 个的特征点分布中选取最优结果作为人脸特征点初始化的结果。
[0008] 进一步地，该方法包括训练过程和测试过程两个部分；训练过程为根据人脸图像 姿态的不同，将训练样本划分为N个子集Si, i G [1，N];对每个子集Si,分别提取平均特征 写、及链式模型k，并将该子集中每个图像特征点分布经过归一化后加入特征点分布集合 Pi中；测试过程为对输入人脸图像，每个特征点的候选位置集合为特征点分布集合Pi，i G [1，N]中对应特征点的所有位置，利用动态规划技术结合链式模型，依次确定每个特征点， W构成最优特征点分布9i，其中01满足每个特征点的局部特征得分和特征点之间的整体特 征得分之和最小;最后，选取di，i G [ 1，N]中的最小值所对应的特征点分布01作为特征点初 始化的结果。
[0009] 进一步地，平均特征歹的计算方法，包括如下步骤：
[0010] 步骤1:对每个特征点，分别Wk个不同的半径提取k个圆形LBP特征，得到一个k维 的局部特征；
[0011] 步骤2:对每个特征点，根据当前特征点与链式模型中下一个特征点之间的相对位 置提取特征'=(扯，(17，扣2，(172)，其中扯，(17分别是两个特征点横坐标之差和纵坐标之差， 得到一个4维的整体特征；
[0012] 步骤3:将所有特征点的局部特征和整体特征级联起来，得到高维特征F;
[0013] 步骤4:计算所有特征F的均值歹，作为平均特征；
[0014] 进一步地，链式模型L的提取，包括如下步骤：
[0015] 步骤1:对姿势集合内所有的样本，计算其特征点平均分布疫
[0016] 步骤2:对平均特征点分布0，随机的选取一个特征点，加入链表中；
[0017] 步骤3:选取一个离最近加入链表的特征点最近且不在链表中的特征点，将其加入 链表中；
[0018] 步骤4:如果所有特征点均加入链表中，则所建立的链表即为所提取的链式模型， 否则重复步骤3。
[0019] 进一步地，局部特征得分的计算方法为根据指定特征点所提取的特征与平均特征 对应的维度之间的欧式距离;整体特征得分的计算方法为根据链式模型顺序下两个相邻特 征点所提取的整体特征与平均特征对应的维度之间的欧式距离。
[0020] 进一步地，最优特征点分布的确定方法，包括如下步骤：
[0021] 步骤1:使下标j等于1，对链式模型的第j个特征点，对其所有可能位置集合A中所 有特征点，计算其局部特征得分，作为该特征点位置的得分；
[0022] 步骤2:使j加1，对链式模型的第j个特征点，对所有可能位置集合化中的每一个特 征点W，分别由上一个特征点所有可能位置集合Qw中选取一个最优特征点PW，使得满足 位置PW得分、位置W的局部特征得分和位置PW与W之间的整体特征得分之和最小;并W该 结果作为位置W的得分；
[0023] 步骤3:如果已经完成对链式模型中所有特征点的计算，W最终最小得分所包含所 有特征点位置作为最优特征点分布，否则重复步骤2。
[0024] 进一步地，所述根据不同头部姿势即人脸图像姿态对训练样本进行划分成多个子 类具体是:根据左侧脸、正脸、右侧脸将训练样本划分为3个子类。
[0025] 进一步地，对每个子类，分别提取链式模型、平均特征，并将所有特征点分布加入 特征点分布集合中：首先计算所有人脸图片样本的平均特征点分布;然后随机的W-个特 征点作为开始，将该特征点加入链表中；捜索与最后加入链表的特征点最邻近且为加入链 表的特征点，将其加入链表中；直到所有特征点均加入链表，及得到链式模型。
[0026] 进一步地，对每个人脸图像样本，首先对链式模型中第一个特征点提取局部特征， 局部特征的提取过程分别W半径3、5、7、9提取圆形LBP特征，得到一个4维度的局部特征;再 提取当前特征与链式模型下一个特征点之间的整体特征，整体特征为两个特征点位置的横 坐标差值、纵坐标差值、横坐标差值的平方、纵坐标差值的平方;得到一个4维度的整体特 征;将局部特征与整体特征级联起来，得到一个8维度的特征;对每个特征点分别进行上述 的特征提取过程，并求取所有样本所提取的特征的均值作为平均特征。
[0027] 上述方法中，所述的方法(3)，包括:对包含n个特征点分布的训练样本子类，每个 特征点的可能位置为特征点分布集合中所有特征点分布对应的特征点的位置。最优人脸特 征点分布为在每个特征点所有可能的位置中选取一个位置，使得所有特征点的局部特征得 分和特征点之间的整体特征得分之和最小。其中局部特征得分为特征点所提取到的局部特 征与平均特征对应维度之间的欧式距离。整体特征得分为两个特征点之间所提取到的整体 特征与平均特征对应维度之间的欧式距离。
[0028] 与现有技术相比，本发明具有如下优点和技术效果:本发明通过建立链式模型将 对人脸特征点的特征提取过程转换为一个多阶段决策问题，并提出了采用动态规划技术快 速的由大量可能的特征点分布中求解最优人脸特征点初始化结果。本发明能有效的对特征 点进行初始化，对特征点初始化结果有依赖的特征点检测算法都可W借助本发明所提出的 方法提升其检测精度。
【附图说明】
[0029] 图1是实施例中快速的人脸特征点初始化方法的整体流程图。
[0030] 图2是链式模型示意图。
【具体实施方式】
[0031] 下面结合附图和实例对本发明的【具体实施方式】做进一步说明，但本发明的实施和 保护不限于此。
[0032] 本实施方式中，所提出的快速人脸特征点初始化方法能有效的提升对特征点初始 化结果比较敏感的人脸特征点检测算法的检测精度。本发明可W分为训练阶段和测试阶 段，在训练阶段将所有样本根据姿势分为N个训练样本子集，对每个训练样本子集分别提取 相关的样本信息。根据运些信息，在测试阶段分别求解每个姿势下的最优人脸特征点初始 化结果，在比较不同姿势的初始化结果确定最优的特征点初始化结果。其整体流程图如图1 所示。
[0033] 本实施方式中，在训练阶段，将所有训练样本分为N个训练样本子集。在实施中可 根据左侧脸、右侧脸、正脸划分为=个训练子集。对每个子类型分别提取其链式模型以4 G [1，N]和平均特征巧，并将其所有图像的特征点分布经过归一化后加入人脸特征点分布集 合Pi中。
[0034] 本实施方式中，对每个训练子集，计算其所有人脸图像的平均特征点分布0，由平 均特征点分布中，随机选取一个特征点加入链表中，再由剩余的特征点中选择与最近加入 链表中的特征点距离最近的特征点加入链表中。最终将所有特征点加入链表中构成链式模 型以，;[G [1，N]，其示意图如图2所示。
[0035] 本实施方式中，对每个训练子集，根据链式模型的顺序，对每个特征点先提取k个 圆形LBP特征作为局部特征，在实施中k的值可取为4,分别W3,5,7,9为半径提取的4个圆形 LBP特征。然后提取当前特征点与链式模型的下一个特征点之间的整体特征。整体特征包括 两个特征点位置的横坐标差值dx、纵坐标差值dy及dx，dy的平方四个维度。将提取到的所有 局部特征和整体特征级联起来，得到单个图像的人脸特征。再求取所有图像的人脸特征的 均值作为平均特征护。
[0036] 本实施方式中，在测试阶段，对包含n个样本的姿势子集，每个特征点可能的位置 集合为特征点分布集合中每个特征点分布对应的特征点的位置。对每个特征点，由其可能 的位置中选取一个位置，组成最优人脸特征点分布作为人脸特征点初始化结果。最优人脸 特征点分布定义为每个特征点的局部特征得分和特征点之间的整体特征得分之和最小。局 部特征得分为特征点所提取到的局部特征与平均特征对应维度之间的欧式距离。整体特征 得分为两个特征点之间所提取到的整体特征与平均特征对应维度之间的欧式距离。
[0037] 本实施方式中，在测试阶段，根据链式模型，首先计算链式模型中第一个特征点所 有可能位置的局部特征得分。W局部特征得分作为第一个特征点在该位置的得分。然后，对 于下一个特征点，假设为链式模型中第j个特征点。对每个可能的位置W，由第j-1个特征点 的所有可能位置中，选取一个最优的特征点位置W-1。最优的特征点位置满足PW位置得分、 Pj局部特征得分与PW、Pj之间的整体特征得分之和最小。并W该结果作为特征点W位置的 得分。依链式模型的顺序计算每个可能的特征点位置得分，得分最低的位置所包含的所有 特征点位置即为最优特征点分布。
【主权项】
1. 一种快速的人脸特征点初始化方法，其特征在于该方法包括:根据不同头部姿势即 人脸图像姿态对训练样本进行划分成多个子类;对每个子类，分别提取链式模型、平均特 征，并将所有特征点分布加入特征点分布集合中；对输入的人脸图像，利用动态规划技术快 速地由多个的特征点分布中选取最优结果作为人脸特征点初始化的结果。2. 根据权利要求1所述的一种快速的人脸特征点初始化方法，其特征在于该方法包括 训练过程和测试过程两个部分;训练过程为根据人脸图像姿态的不同，将训练样本划分为N 个子集5 1，1￡[1少];对每个子集51，分别提取平均特征5、及链式模型1^，并将该子集中每 个图像特征点分布经过归一化后加入特征点分布集合Pi中；测试过程为对输入人脸图像， 每个特征点的候选位置集合为特征点分布集合P^ietUN]中对应特征点的所有位置，利 用动态规划技术结合链式模型，依次确定每个特征点，以构成最优特征点分布，其中01满 足每个特征点的局部特征得分和特征点之间的整体特征得分之和最小；最后，选取cU，ie [1，N]中的最小值所对应的特征点分布作为特征点初始化的结果。3. 如权利要求1所述的快速的人脸特征点初始化方法，其特征在于平均特征歹的计算方 法，包括如下步骤： 步骤1:对每个特征点，分别以k个不同的半径提取k个圆形LBP特征，得到一个k维的局 部特征； 步骤2:对每个特征点，根据当前特征点与链式模型中下一个特征点之间的相对位置提 取特征f = (dx，dy，dx2，dy2)，其中dx，dy分别是两个特征点横坐标之差和纵坐标之差，得到 一个4维的整体特征； 步骤3:将所有特征点的局部特征和整体特征级联起来，得到高维特征F; 步骤4:计算所有特征F的均值F ,作为平均特征。4. 如权利要求1所述的快速的人脸特征点初始化方法，其特征在于链式模型L的提取， 包括如下步骤： 步骤1:对姿势集合内所有的样本，计算其特征点平均分布 步骤2:对平均特征点分布Θ，随机的选取一个特征点，加入链表中； 步骤3:选取一个离最近加入链表的特征点最近且不在链表中的特征点，将其加入链表 中； 步骤4:如果所有特征点均加入链表中，则所建立的链表即为所提取的链式模型，否则 重复步骤3。5. 如权利要求1所述的快速的人脸特征点初始化方法，其特征在于局部特征得分的计 算方法为根据指定特征点所提取的特征与平均特征对应的维度之间的欧式距离;整体特征 得分的计算方法为根据链式模型顺序下两个相邻特征点所提取的整体特征与平均特征对 应的维度之间的欧式距离。6. 如权利要求1所述的快速的人脸特征点初始化方法，其特征在于最优特征点分布的 确定方法，包括如下步骤： 步骤1:使下标j等于1，对链式模型的第j个特征点，对其所有可能位置集合(^中所有特 征点，计算其局部特征得分，作为该特征点位置的得分； 步骤2:使j加1，对链式模型的第j个特征点，对所有可能位置集合(^中的每一个特征点 Pj，分别由上一个特征点所有可能位置集合Qh中选取一个最优特征点PH，使得满足位置 PH得分、位置W的局部特征得分和位置PH与W之间的整体特征得分之和最小;并以该结果 作为位置W的得分； 步骤3:如果已经完成对链式模型中所有特征点的计算，以最终最小得分所包含所有特 征点位置作为最优特征点分布，否则重复步骤2。7. 如权利要求1所述的快速的人脸特征点初始化方法，其特征在于所述根据不同头部 姿势即人脸图像姿态对训练样本进行划分成多个子类具体是:根据左侧脸、正脸、右侧脸将 训练样本划分为3个子类。8. 如权利要求7所述的快速的人脸特征点初始化方法，其特征在于对每个子类，分别提 取链式模型、平均特征，并将所有特征点分布加入特征点分布集合中：首先计算所有人脸图 片样本的平均特征点分布;然后随机的以一个特征点作为开始，将该特征点加入链表中；搜 索与最后加入链表的特征点最邻近且为加入链表的特征点，将其加入链表中；直到所有特 征点均加入链表，及得到链式模型。9. 如权利要求7所述的快速的人脸特征点初始化方法，其特征在于:对每个人脸图像样 本，首先对链式模型中第一个特征点提取局部特征，局部特征的提取过程分别以半径3、5、 7、9提取圆形LBP特征，得到一个4维度的局部特征;再提取当前特征与链式模型下一个特征 点之间的整体特征，整体特征为两个特征点位置的横坐标差值、纵坐标差值、横坐标差值的 平方、纵坐标差值的平方;得到一个4维度的整体特征;将局部特征与整体特征级联起来，得 到一个8维度的特征;对每个特征点分别进行上述的特征提取过程，并求取所有样本所提取 的特征的均值作为平均特征。
【文档编号】G06K9/00GK105956581SQ201610409480
【公开日】2016年9月21日
【申请日】2016年6月8日
【发明人】秦华标, 黄宇驹, 廖才满
【申请人】华南理工大学