0089]在一个优选的实施例中，训练过程总共迭代约60000次。学习率初始设置为0.001，之后每20000轮学习率更新为原来的1/10。
[0090]优选的，对于收集标注模块中的训练数据集合的图片，进行随机旋转正负30度，随机进行90% -110%的大小变化扰动，随机左右翻转，来扩充训练样本。神经网络训练模块也可以采用扩充的训练样本对全卷积神经网络进行训练。
[0091]五官定位标注模块，利用神经网络训练模块中的已经训练好的全卷积神经网络，对人脸图片进行五官定位和标注。
[0092]对神经网络训练模块中已经训练好的全卷积神经网络，进行简单改变。增加一输入层和一输出层，输入层接受任意大小的原始图片，全卷积网络将输出的像素级别的人脸分割结果，及五官的定位与标注。
[0093]最终的结果如图3所示，输入图片为一张包含人脸的图片，经过本申请的全卷积神经网络分类后，能够输出对应的五官分类结果和标注，例如眉毛类别，眼睛类别，鼻子类另IJ，上嘴唇类别，舌头类别，下嘴唇类别，以及脸部。上述五官分类能够精确到像素级，即可以精确的学习到包含人脸图片的每一个点的类别，从而得到密集的五官标注结果。
[0094]和公知的全卷积神经网络相比，本申请的卷积层之后有三层反卷积层，可以将输出放大到与输入图片同样的大小。具体的，在第九层卷积层之后，特征大小仅为原图的1/16，直接输出结果无法达到像素级别的精度。而通过之后的三层反卷积层，可以得到的输出具有像素级别精度的结果。通过学习反卷积的权重大小能够更好的得到更适宜的放大参数。
[0095]本申请通过全卷积网络进行图像分割的方式，能够得到输入人脸每一点的预测类另IJ，从而能够得到精确的五官位置，避免了基于人脸关键点的关键点不足以及关键点不够稳定的问题。
[0096]以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
【主权项】
1.一种基于全卷积网络人脸五官定位与判别方法，该方法包括如下步骤: 步骤11:收集人脸图片并对人脸五官进行标注，形成一个训练数据集合； 步骤12:设计一个全卷积神经网络； 步骤13:利用步骤11中的训练数据集合对步骤12中设计的全卷积神经网络进行训练; 步骤14:利用步骤13已经训练好的全卷积神经网络，对人脸图片进行五官定位和标注。2.如权利要求1所述的方法，其特征在于，优选的，该方法还包括步骤S10:在对五官进行标注前，进行预处理操作，截取所述训练数据集合的人脸图片中的人脸区域，去掉多余的背景区域，并对人脸进行转正、对齐。3.如权利要求2所述的方法，其特征在于，对人脸进行对齐具体为，利用AdaBoost分类器或者深度学习的人脸检测算法检测人脸和人脸关键点，根据检测的人脸关键点，计算该人脸到标准人脸的仿射或者相似变换，把该人脸与标准人脸对齐。4.如权利要求1所述的方法，其特征在于，所述人脸五官标注为手工标注。5.如权利要求4所述的方法，其特征在于，所述手工标注为像素级别标注。6.如权利要求1所述的方法，其特征在于，所述全卷积神经网络的前端是多个卷积层和池化层的组合，后端是多个反卷积层的组合。7.如权利要求6所述的方法，其特征在于，所述全卷积神经网络具体结构为， 第一层，卷积层，卷积核大小为3x3，步长stride为2 ； 第二层，最大池化层，池化区间为2x2，步长stride为2 ； 第三层，卷积层，卷积核大小为3x3，步长Stride为1 ; 第四层，最大池化层，池化区间为2x2，步长stride为2 ； 第五层，卷积层，卷积核大小为3x3，步长Stride为1 ; 第六层，最大池化层，池化区间为2x2，步长stride为2 ； 第七层，卷积层，卷积核大小为3x3，步长stride为1 ; 第八层，卷积层，卷积核大小为3x3，步长stride为1 ; 第九层，卷积层，卷积核大小为3x3，步长stride为1 ; 第十层，反卷积层，卷积核大小为6x6，步长stride为4 ； 第i^一层，反卷积层，卷积核大小为6x6，步长stride为4 ； 第十二层，反卷积层，卷积核大小为6x6，步长stride为1。8.如权利要求6所述的方法，其特征在于，所述全卷积神经网络还包括一个损耗层，用于计算损耗。9.如权利要求6所述的方法，其特征在于，在所述卷积层和所述反卷积层之后都增加一个非线性响应单元。10.如权利要求1所述的方法，其特征在于，步骤S13中所述训练采用随机梯度下降法。11.一种基于全卷积网络人脸五官定位与判别系统，该系统包括如下模块: 收集标注模块，收集人脸图片并对人脸五官进行标注，形成一个训练数据集合； 神经网络设计模块，用于设计一个全卷积神经网络； 神经网络训练模块，用于利用所述收集标注模块中的训练数据集合对所述神经网络设计模块中设计的全卷积神经网络进行训练； 五官定位标注模块，利用所述神经网络训练模块中的已经训练好的全卷积神经网络，对人脸图片进行五官定位和标注。12.如权利要求11所述的系统，其特征在于，该系统还包括: 预处理模块，用于截取所述训练数据集合的人脸图片中的人脸区域，去掉多余的背景区域，并对人脸进行转正、对齐。13.如权利要求12所述的系统，其特征在于，对人脸进行对齐具体为，利用AdaBoost分类器或者深度学习的人脸检测算法检测人脸和人脸关键点，根据检测的人脸关键点，计算该人脸到标准人脸的仿射或者相似变换，把该人脸与标准人脸对齐。14.如权利要求11所述的系统，其特征在于，所述人脸五官标注为手工标注。15.如权利要求14所述的系统，其特征在于，所述手工标注为像素级别标注。16.如权利要求11所述的系统，其特征在于，所述全卷积神经网络的前端是多个卷积层和池化层的组合，后端是多个反卷积层的组合。17.如权利要求16所述的系统，其特征在于，所述全卷积神经网络具体结构为， 第一层，卷积层，卷积核大小为3x3，步长stride为2 ； 第二层，最大池化层，池化区间为2x2，步长stride为2 ； 第三层，卷积层，卷积核大小为3x3，步长Stride为1 ; 第四层，最大池化层，池化区间为2x2，步长stride为2 ； 第五层，卷积层，卷积核大小为3x3，步长Stride为1 ; 第六层，最大池化层，池化区间为2x2，步长stride为2 ； 第七层，卷积层，卷积核大小为3x3，步长stride为1 ; 第八层，卷积层，卷积核大小为3x3，步长stride为1 ; 第九层，卷积层，卷积核大小为3x3，步长stride为1 ; 第十层，反卷积层，卷积核大小为6x6，步长stride为4 ； 第i^一层，反卷积层，卷积核大小为6x6，步长stride为4 ； 第十二层，反卷积层，卷积核大小为6x6，步长stride为1。18.如权利要求16所述的系统，其特征在于，所述全卷积神经网络还包括一个损耗层，用于计算损耗。19.如权利要求16所述的系统，其特征在于，在所述卷积层和所述反卷积层之后增加一个非线性响应单元。20.如权利要求11所述的系统，其特征在于，所述神经网络训练模块采用随机梯度下降法进行训练。
【专利摘要】本申请提供了一种基于全卷积网络人脸五官定位与判别方法及系统，其中该方法具体包括：收集人脸图片并对人脸五官进行标注，形成一个训练数据集合；设计一个全卷积神经网络；利用训练数据集合对全卷积神经网络进行训练；利用已经训练好的全卷积神经网络，对人脸图片进行五官定位和标注。本申请通过全卷积网络进行图像分割的方式，能够得到输入人脸每一点的预测类别，从而能够得到精确的五官位置，避免了基于人脸关键点的关键点不足以及关键点不够稳定的问题。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN105354565
【申请号】CN201510980543
【发明人】石建萍, 梁继, 隋凌志
【申请人】北京市商汤科技开发有限公司
【公开日】2016年2月24日
【申请日】2015年12月23日