基于深度卷积神经网络的异质人脸识别方法
【技术领域】
[0001] 本发明涉及生物特征识别、计算机视觉、模式识别和机器学习等技术领域，具体涉 及一种基于深度卷积神经网络的异质人脸识别方法。
【背景技术】
[0002] 基于生物特征的身份识别对于安防领域及各种身份认证系统具有重要作用。人脸 识别由于其非接触性和非强制性，及准确、方便、直观的特点，具有良好的发展和应用前景。 传统的人脸识别主要基于人脸的可见光图像识别。可见光图像源非常广阔和易搜集，但也 存在着受光照等条件影响较大的缺陷。环境光照变化时，人脸识别的性能会急剧下降。因 此，不受环境光影响的近红外人脸识别系统逐渐受到重视和发展。
[0003] 近红外人脸识别目前已经成为人脸识别领域的研究热点。近红外成像设备采用高 于环境光强度的主动近红外光源成像，配合相应波段的滤波片，能够得到不受环境光照变 化影响的稳定的近红外图像。只有图像整体亮度随距离变化而单调变化，而像素间的关系 则不会受到影响。因此，基于近红外图像的人脸识别不仅适用于白天，也适用于夜晚，甚至 其他复杂光线条件。这使得近红外图像有很好的应用前景，如可以应用于刑侦，用户注册等 系统。因此，如何进行异质人脸的识别和匹配，已经成为一个亟待解决的问题。
[0004] 异质人脸的识别由于其数据源具有较大的跨模态差异，以及近红外图像难以大量 收集等原因，存在很大的困难。为了解决这些难题，研究者们应用传统的机器学习方法及具 有强大识别性能的深度学习，尝试克服模态间的差异。传统的异质人脸识别的方法主要有 以下几种:设计模态不变的特征，将人脸图像从一个模态变换到另一个模态，或者将两种模 态的图像同时投影到一个共同的子空间上。随着深度学习的发展，自动编码机(AE)，深度玻 尔兹曼机(DBM)等无监督深度学习算法被应用到跨域图像的识别中，但相比可见光域的人 脸识别，其性能仍有很大的提升空间。
[0005] 深度学习的另一分支，卷积神经网络(CNNs)，由于具有层级化的结构，在可见光域 的人脸识别、物体识别、细粒度物体分类等任务上都获得了优异的性能。加之GPU等硬件的 大幅加速，使得大规模的图像处理变得简单可行。但由于近红外图像需要用专门的成像设 备进行拍摄，搜集难度较大，现存的匹配的近红外与可见光人脸图像集，规模较小，远远不 够用于卷积神经网络的训练。如何利用大量的可见光图像信息，以及如何利用现存的小规 模近红外-可见光图像集进行深度卷积神经网络的训练成为当前异质人脸识别的两大难 题。
[0006] 而转移学习 （transfer learning)可用于解决源域与目标域的训练数据分布不同 的问题。通过转移学习，网络模型从源域数据中学到的知识可以为目标域的训练提供先验。 如果我们能将转移学习运用到异质人脸识别中，就能够建立可见光图像库和近红外-可见 光图像库之间的连接，将从可见光数据上学到的信息转移到异质数据上，从而实现对异质 人脸识别处理。
【发明内容】
[0007] 有鉴于此，本发明目的提出一种基于深度卷积神经网络的异质人脸识别方法，其 可利用大量可见光图像提升近红外-可见光人脸识别的性能，可应用于异质图像比对系统， 可以有效提升其综合性能，解决了卷积神经网络在小规模异质数据库上训练容易过拟合的 问题，为小规模跨域图像的识别和匹配提供了一种新思路。
[0008] 本发明是这样实现的，一种基于深度卷积神经网络的异质人脸识别方法，包括以 下步骤：
[0009] 步骤S1，对预训练图像中的人脸图像及相关的可见光图像-近红外图像进行相同 的图像预处理，得到预设大小的灰度图像；
[0010] 步骤S2,用预处理好的可见光图像对预设深度卷积神经网预训练，得到人脸的高 层次特征表达，得到预训练的异质人脸识别卷积神经网络模型；
[0011] 步骤S3,按预设方法分别以训练图像中的近红外图像、可见光图像作为锚点，构建 由锚点、正样本和负样本组成的跨域近红外-可见光三元组，并利用所述预训练的异质人脸 识别卷积神经网络模型从训练图像中选取跨域难三元组；
[0012] 步骤S4,将选取的跨域难三元组输入所述预训练的异质人脸识别卷积神经网络模 型进行训练，得到跨近红外域和可见光域的统一深层特征表达;并按步骤S3-S4的方法，利 用上一轮训练好的异质人脸识别卷积神经网络模型，进行下一轮难三元组选择和训练，计 算异质识别的正确率及真阳性率，多次迭代直到所述异质识别的正确率及真阳性率的评价 标准达到最尚值，获得最终的异质人脸识别卷积神经网络模型；
[0013] S5,将近红外图像或可见光图像输入该最终的异质人脸识别卷积神经网络模型， 通过比较近红外图像或可见光图像与人脸识别系统注册时图像库中的可见光人脸图像或 近红外图像高层特征的相似度得分，实现对人脸图像识别。
[0014] 步骤S1中，所述图像预处理的步骤如下：
[0015] 运用人脸检测器，通过定位图像关键点的坐标进行对齐操作获得对齐的图像块， 然后对对齐的图像进行裁剪和缩放，并处理成预设大小的灰度图像。
[0016] 步骤S3中，所述跨域近红外-可见光三元组的损失用下式来表达：
[0017]
[0018]其中，N为三元组的总数，Xi%锚点，Xip为正样本，Xin为负样本。
[0019] 步骤S3中，所述的利用所述预训练的异质人脸识别卷积神经网络模型从训练图像 中选取跨域难三元组的步骤是：
[0020] 将所有训练图像输入所述预训练的异质人脸识别卷积神经网络模型中训练，得到 高层次的特征表达，计算近红外图像和可见光图像的相似度得分，将该相似度得分与实际 相似度不匹配的图像选出来组成难三元组。
[0021 ] 步骤S3中，所述跨域难三元组通过以下方法选取：
[0022]以训练图像中的可见光图像为锚点，遍历所有近红外图像，并对可见光图像与近 红外图像两者的相似度分排序，以相似度分较高且与锚点来自不同ID的近红外图像作为难 负样本，相似度分较低且与锚点来自同一 ID的近红外图像作为难正样本，然后以该锚点与 一个难正样本、一个难负样本组成一类难三元组；
[0023]以训练图像中的近红外图像为锚点，遍历所有可见光图像，并对可见光图像与近 红外图像两者的相似度分排序，以相似度分较高且与锚点来自不同ID的可见光图像作为难 负样本，相似度分较低且与锚点来自同一 ID的可见光图像作为难正样本，然后以该锚点与 一个难正样本、一个难负样本组成另一类难三元组。
[0024]步骤S4中，所述的将选取的跨域难三元组输入所述异质人脸识别深度卷积神经网 络模型训练后，是通过使该异质人脸识别深度卷积神经网络模型通过误差梯度反传进行参 数精调，使该异质人脸识别深度卷积神经网络模型在学到人脸表达的本质特征的同时，又 学到不依赖于近红外或可见光域的非本质特征，从而得到跨近红外域和可见光域的统一深 层特征表达。
[0025]步骤S4中，所述异质人脸识别深度卷积网络模型为三通道的深度卷积网络模型， 该异质人脸识别深度卷积网络模型的三个通道在每一层共享权重。
[0026] 本发明提出的基于深度卷积神经网络的异质人脸识别方法，能够很大程度上提升 异质人脸识别的准确度和正确率，与其他异质人脸识别方法相比，其有益效果体现在以下 几个方面：
[0027] 1.本发明是首次将卷积神经网络运用在近红外-可见光人脸的识别中，能够同时 运用大规模可见光图像的信息以及小规模近红外-可见光图像集。
[0028] 2.与以往精调深度卷积模型需要大量的有标签的数据不同，本发明提出的近红 外-可见光三元组构造方法，有效的扩大了样本空间，为小样本问题提供了一种新的解决方 案。
[0029] 3.本发明提出的基于深度卷积网了的异质人脸识别方法，不仅适用于近红外-可 见光人脸的异质比对，而且适用于其他异质匹配问题。
【附图说明】
[0030] 图1是基于深度卷积网的异质人脸识别方法的流程图；
[0031] 图2是近红外-可见光三元组构造方法及三元组损失约束下样本间距离的变化示 意图；
[0032]图3是难样本选择过程的示意图。
【具体实施方式】
[0033] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照详 细附图，对本发明进一步详细说明。但所描述的实施例子仅旨在便于对本发明的理解，而对 其不起任何限定作用。
[0034] 本发明利用深度卷积神经网络，通过利用大规模的可见光人脸图像预训练得到人 脸的高层次特征表达，然后将得到的深度卷积神经网络各层的参数作为先验知识以及提供 初始权重，转移到以近红外-可见光图像为输入的卷积神经网络的模型参数的训练中，对异 质人脸识别卷积神经网络模型进行训练，并按一定规则构建跨近红外-可见光域的三元组， 并按一定方法选择异质人脸识别卷积神经网络模型难区分的难三元组样本，输入模型对异 质人脸识别卷积神经网络的参数进行多次迭代训练、精调，使异质人脸识别卷积神经网络 适应新的数据，得到跨近红外-可见光域的不变的统