结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
【技术领域】
[0001] 本发明涉及一种遮挡人脸检测技术，特别是一种结合深度图像和彩色图像的遮挡 人脸检测预警装置及实现方法。
【背景技术】
[0002] 人们通过人脸来确认身份，因此，人脸是最重要的生物特征之一。犯罪分子在行使 犯罪时往往会刻意遮挡人脸，因而能否稳定地判断出人脸是否被遮挡，是预防犯罪的有效 手段。譬如，随着ATM机交易的频繁，银行ATM机网点越来越多，客户在ATM机上进行交易 的时候也是违法犯罪行为最容易发生的时候。很多犯罪嫌疑人使用墨镜、围巾、口罩或者直 接蒙面的方式来刻意遮挡自己的人脸特征，逃避法律处罚。对这种犯罪行为进行主动防御 的有效措施就是对交易过程进行全程监控，一旦发现人脸模式异常，如取款者戴墨镜或蒙 面操作ATM机，便认为有潜在的威胁存在，从而触发相应的预警或者报警机制。将遮挡人脸 检测技术应用到ATM机预警系统中可降低ATM机犯罪的可能性。
[0003] 遮挡人脸检测问题有以下三种常用的解决方案：
[0004] 针对特定遮挡物类型的检测方法。这类方法只针对特定的遮挡类型，例如针对戴 头盔、戴墨镜、戴口罩、戴围巾等，遮挡物也相对固定；此类方法一般能稳定地检测遮挡人 脸，但泛化性能差，只有特定的遮挡行为才能被检测，无法适应不可预知的人脸遮挡情况。
[0005] 基于肤色的遮挡检测方法。通过整个人脸中的重要器官的位置和肤色比例来判断 遮挡人脸，此类方法可以适应多样化的人脸遮挡情况，同时对多样化的人脸表情也有很好 适应性，但却对光照变化非常敏感，难以得到稳健的结果。
[0006] 基于正面裸露人脸检测的方法。此类方法通过人脸检测器确定感兴趣的区域，通 过分析部分检测到的人脸区域来确定是否为遮挡人脸；例如将人脸分为上半部分和下半部 分，分别判定是否遮挡来综合判定人脸遮挡情况。
[0007] 由上可知，现有的遮挡人脸检测技术大都基于二维彩色或者灰度图像，对光照变 化、表情变化等比较敏感，缺乏稳健性，难以应用到实际的视频监控系统中。
【发明内容】
[0008] 本发明的目的在于提供一种结合深度和彩色图像的遮挡人脸检测预警装置及实 现方法。
[0009] 实现本发明目的的技术方案为：一种结合深度和彩色图像的遮挡人脸检测预警装 置，装置包括深度摄像头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备； [0010] 深度摄像头和彩色摄像头均与图像处理部件相连，同步采集深度数据和彩色图 像，并将深度数据和对应的彩色图像同步传送给图像处理部件；图像处理部件检测到遮挡 人脸后将预警信号发送给本地预警设备，同时通过网络将预警信号发送给网络报警设备， 进行远程报警。
[0011] 进一步的，图像处理部件包括深度数据输入模块、彩色数据输入模块、前景目标分 割模块、人头区域分割模块、图像配准模块、遮挡检测模块和结果输出模块；
[0012] 深度数据输入模块同时与前景目标分割模块和图像配准模块相连，彩色数据输入 模块与图像配准模块相连，前景目标分割模块与人头区域分割模块相连，人头区域分割模 块和图像配准模块均与遮挡检测模块相连，遮挡检测模块与结果输出模块相连；
[0013] 深度数据输入模块对深度数据进行归整化，转换成深度图像后传递给前景目标分 割模块和图像配准模块；前景目标分割模块将深度图像中的像素点根据像素值聚为4类， 并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中 寻找最大连通域作为前景目标；图像配准模块对彩色图像进行仿射变换，使其和深度图像 位于同一个坐标系中，使深度图像和彩色图像逐像素对应；人头区域分割模块以前景目标 作为输入，使用投影法确定人头区域，即人头的最小包围矩形；遮挡检测模块以深度图像、 配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否 有遮挡物；结果输出模块用于向本地预警设备和网络报警设备发出预警信号。
[0014] 一种结合深度和彩色图像的遮挡人脸检测预警方法，包括以下步骤：
[0015] 步骤1、同步采集深度数据和对应的彩色图像，并将深度数据转换为深度图像；
[0016] 步骤2、将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离 最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目 标；
[0017] 步骤3、对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度 图像和彩色图像逐像素对应，得到配准后的彩色图像；
[0018] 步骤4、以前景目标作为输入，使用投影法确定人头区域；
[0019] 步骤5、以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行 遮挡检测，判断人脸区域是否有遮挡物，若有，则进行本地预警或网络报警，若无，不作处 理。
[0020] 本发明与现有技术相比，其显著优点为：
[0021] (1)本发明使用深度数据，遮挡人脸检测结果对光照变化不敏感；
[0022] (2)本发明同时使用深度和彩色数据，遮挡检测结果更稳健，可以满足实际应用要 求。
【附图说明】
[0023] 图1为本发明的结合深度和彩色图像的遮挡人脸检测预警装置结构框图。
[0024] 图2为图1中图像处理部件的内部结构框图。
[0025] 图3为对深度图像进行聚类分割的计算流程图。
[0026] 图4为获取人脸子区域特征向量的示意图。
[0027] 图5为本发明的实施例示意图。
【具体实施方式】
[0028] 结合图1，本发明的结合深度和彩色图像的遮挡人脸检测预警装置，包括深度摄像 头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备；
[0029] 深度摄像头和彩色摄像头均与图像处理部件相连，在图像处理部件触发信号的控 制下深度摄像头和彩色摄像头同步采集深度数据和彩色图像，并将深度数据和对应的彩色 图像同步传送给图像处理部件；图像处理部件检测到遮挡人脸后将预警信号发送给本地预 警设备，同时通过网络将预警信号发送给网络报警设备，进行远程报警。
[0030] 结合图2,图像处理部件包括深度数据输入模块、彩色数据输入模块、前景目标分 割模块、人头区域分割模块、图像配准模块、遮挡检测模块和结果输出模块；
[0031] 深度数据输入模块同时与前景目标分割模块和图像配准模块相连，彩色数据输入 模块与图像配准模块相连，前景目标分割模块与人头区域分割模块相连，人头区域分割模 块和图像配准模块均与遮挡检测模块相连，遮挡检测模块与结果输出模块相连；
[0032] 深度数据输入模块对深度数据进行归整化，转换成深度图像后传递给前景目标分 割模块和图像配准模块；前景目标分割模块将深度图像中的像素点根据像素值聚为4类， 并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中 寻找最大连通域作为前景目标；图像配准模块对彩色图像进行仿射变换，使其和深度图像 位于同一个坐标系中，使深度图像和彩色图像逐像素对应；人头区域分割模块以前景目标 作为输入，使用投影法确定人头区域，即人头的最小包围矩形；遮挡检测模块以深度图像、 配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否 有口罩、围巾、墨镜等遮挡物；结果输出模块用于向本