一种图像采集设备及人脸五官的遮挡检测方法
【专利摘要】本发明公开了一种图像采集设备及人脸五官遮挡检测方法，所述方法包括：步骤1：利用图像采集设备采集监控区域的视频图像；步骤2：对于所述图像采集设备采集得到的视频图像进行背景建模以及检测前景，并判断所述视频图像中有无人脸的出现；步骤3：当检测到所述视频图像中出现人脸时，检测所述图像采集设备是否出现遮挡，当判断出现遮挡时启动报警提示，当判断未出现遮挡时，转至步骤4；步骤4：继续进行人脸及五官的遮挡检测，即人脸完整性检测，并据此判断图像采集设备内是否存在人脸的遮挡。本发明方法实时性好，具有较高的检测准确率，为银行的自动柜员机系统提供了自动化、智能化的监控手段，为银行无人值班运行的管理模式提供技术支撑。
【专利说明】
一种图像采集设备及人脸五官的遮挡检测方法
技术领域
[0001] 本发明涉及视频监控领域，特别是一种图像采集设备及人脸五官的遮挡检测方 法。
【背景技术】
[0002] 近年来，自动柜员机的犯罪呈现高发状态，犯罪分子的蒙面伪装、恶意遮挡镜头等 犯罪活动时有发生，严重危害了正常的金融管理秩序，基于自动柜员机的公共安全问题受 到了越来越多的重视。然而传统的监控模式是采用"只记录不判断"的方式，只能在事发之 后通过视频的回放来对异常情况进行调查和取整，无法做到实时地判断和报警。因此，基于 监控视频的异常遮挡检测，可以通过图像处理、机器学习等技术实现监控场景中异常行为 的自动检测和报警工作，不仅可以极大地降低人力成本，同时也可以提高监控系统的处理 能力，具有十分广阔的应用前景。
[0003] 本发明摄像头等图像采集设备及人脸五官遮挡检测方法，利用计算机自动完成图 像采集设备遮挡以及人脸五官遮挡的检测，通过提取目标前景来判断是否有人脸的出现， 在判断有人脸出现后对图像进行特征提取，进行图像采集设备遮挡的检测，再使用分类器 实现对人脸及五官遮挡的检测，从而实现准确度较高、实时性较好的检测方法。
【发明内容】
[0004] 本发明的目的是提供一种视频监控系统中的图像采集设备及人脸五官的遮挡检 测方法，使得计算机能够自动完成对图像采集设备及人脸五官的遮挡检测，同时保证较高 的准确性，以及较好的实时性。
[0005] 为达到以上目的，本发明提供的一种图像采集设备及人脸五官的遮挡检测方法包 括以下步骤：
[0006] 步骤1:利用图像采集设备采集监控区域的视频图像；
[0007]步骤2:对于所述图像采集设备采集得到的视频图像进行背景建模以及检测前景， 并判断所述视频图像中有无人脸的出现；
[0008] 步骤3:当检测到所述视频图像中出现人脸时，检测所述图像采集设备是否出现遮 挡，当判断出现遮挡时启动报警提示，当判断未出现遮挡时，转至步骤4;
[0009] 步骤4:继续进行人脸及五官的遮挡检测，即人脸完整性检测，并据此判断图像采 集设备内是否存在人脸的遮挡。
[0010] 可选地，所述步骤1还包括对采集得到的图像进行处理和显示的步骤。
[0011] 可选地，利用混合高斯方法对于所述图像采集设备采集得到的视频图像进行背景 建模。
[0012] 可选地，所述步骤2进一步包括以下步骤：
[0013] 步骤21，建立高斯混合模型；
[0014] 步骤22,利用上一时刻的参数值对于当前时刻高斯混合模型的参数进行更新；
[0015] 步骤23,利用参数更新后的混合高斯模型来表征图像中各个像素点的特征，并据 此进行前景检测，得到前景图像；
[0016] 步骤24,对所述步骤23得到的前景图像进行形态学滤波的开操作；
[0017] 步骤25,利用连通域分析方法判断经过所述步骤24处理后得到的前景图像中有无 人脸的出现。
[0018] 可选地，所述步骤23中，在进行前景检测时，将当前图像的某个像素点与所述混合 高斯模型表征的相应位置处的像素点进行匹配，如果匹配成功则判定该像素点为背景点， 否则为前景点。
[0019] 可选地，所述步骤25进一步包括以下步骤：
[0020] 步骤251，利用连通域分析方法对于经过所述步骤24处理后得到的前景图像进行 分割，得到多个连通域；
[0021] 步骤252,计算所述步骤251得到的各个连通域的轮廓长度，当存在一个连通域的 轮廓长度大于某一预设的最小阈值时，表示图像采集设备中有人脸出现。
[0022] 可选地，所述步骤3进一步包括以下步骤：
[0023]步骤31，对于所述视频图像进行灰度化，得到灰度图像；
[0024]步骤32,对得到的灰度图像进行Sobel梯度信息的提取；
[0025]步骤33,对提取得到的梯度信息进行二值化操作；
[0026] 步骤34,统计梯度值大于某一预设阈值的像素点的个数，当得到的像素点个数超 过一定数量时，即认为图像采集设备出现遮挡；
[0027] 步骤35,在所述步骤34检测得到图像采集设备出现遮挡时进行报警提示，然后再 继续进行下一帧视频图像序列的检测，当在一预设时间阈值内连续检测到图像采集设备出 现遮挡时，则进行拒绝服务的警报，同时终止遮挡检测的工作。
[0028] 可选地，所述步骤4进一步包括以下步骤：
[0029]步骤41，将所述视频图像进行压缩；
[0030]步骤42,对压缩后的图像进行直方图均衡操作；
[0031]步骤43，进行图像中人脸的检测；
[0032] 步骤44,当检测到存在人脸时，获取人脸所在外接矩形框的左上顶点坐标以及宽、 高，同时判断外接矩形框的大小是否在一定阈值范围内，若是，则检测人脸正确，否则，认为 检测的人脸错误；
[0033] 步骤45,在人脸检测获得的外接矩形框中，分别设置眼睛、鼻子以及嘴检测的感兴 趣区域，再在感兴趣区域中分别进行人眼睛、鼻子和嘴的检测，当五官检测完整时，即说明 图像采集设备内没有出现人脸的遮挡，否则，认为出现人脸的遮挡并进行报警提示；
[0034] 步骤46,在检测出现人脸的遮挡时进行报警提示，然后再继续进行下一帧视频图 像序列的检测，当在一预设时间阈值内连续检测到出现人脸五官的遮挡时，则进行拒绝服 务的警报，同时终止检测的工作。
[0035] 可选地，所述步骤43中，使用基于Haar-Iike特征的Adaboost级联分类器进行图像 中人脸的检测。
[0036] 可选地，所述步骤45中，使用基于Haar-Iike的Adaboost级联分类器分别进行人眼 睛、鼻子和嘴的检测。
[0037] 本发明中图像采集设备及人脸五官遮挡检测所采用的方法具有较高的准确性以 及较好的实时性，为银行系统的自动柜员机平台等平台提供了自动化、智能化的监控手段， 能够促进真正实现异常遮挡的检测与报警工作，为自动柜员机等平台的无人值班运行管理 模式提供了强有力的技术支撑。
【附图说明】
[0038] 图1是根据本发明一实施例的图像采集设备及人脸五官遮挡检测方法的流程图。
[0039] 图2是根据本发明一实施例的前景提取方法的流程图。
[0040] 图3 (a )、( b)分别为本发明一实施例中涉及的X和Y方向上的Sobe 1卷积因子。
[0041 ]图4(a)为本发明一实施例中对图像提取Haar-Iike特征中的边缘特征示意图。 [0042 ]图4 (b)为本发明一实施例中对图像提取Haar-I ike特征中的线性特征示意图。
[0043] 图4 (c)为本发明一实施例中对图像提取Haar-I ike特征中的中心环绕特征示意 图。
[0044] 图5是本发明一实施例涉及的积分图的示意图。
[0045] 图6是本发明一实施例中使用积分图对特征进行计算的方法示意图。
【具体实施方式】
[0046] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0047] 图1是根据本发明一实施例的图像采集设备及人脸五官遮挡检测方法的流程图， 如图1所示，所述图像采集设备及人脸五官遮挡检测方法包括以下步骤：
[0048] 步骤1:利用图像采集设备采集监控区域的视频图像；
[0049] 其中，所述图像采集设备可以为数字图像采集设备，比如数字摄像头，也可以为模 拟图像采集设备等图像采集设备。
[0050] 在本发明一实施例中，所述步骤1还包括利用计算机等电子设备对采集得到的图 像进行处理和显示的步骤，其中，对图像进行的处理包括二值化处理以及形态学滤波操作。
[0051] 步骤2:对于所述图像采集设备采集得到的视频图像进行背景建模以及检测前景， 并判断所述视频图像中有无人脸的出现；
[0052] 在本发明一实施例中，利用混合高斯方法对于所述图像采集设备采集得到的视频 图像进行背景建模，当然也可以采用其他背景建模方法，对其本发明不作具体限定。
[0053]进一步地，如图2所示，所述利用混合高斯方法对于所述图像采集设备采集得到的 图像进行背景建模以及检测前景，并判断所述图像中有无人脸的出现的步骤包括以下步 骤：
[0054]步骤21，建立高斯混合模型；
[0055] 该步骤中，对于图像中的每个像素点建立K个高斯模型，其中，对于t时刻某个像素 的样本值xt，它的概率密度函数由K个多维高斯分布函数的概率密度函数加权和来表示，如 公式(1)所示：
[0056]
[0057] 式中，K为高斯模型的个数，Wi,t为高斯模型权值，yi,t为第i个高斯分布的均值，
%协方差矩阵，其中为该像素在t时刻图像序列的第i个高斯模型的方差， ni,t(xt，yi,t，Ei,t)是t时刻的第i个高斯分布，如公式⑵所示：
[0058]
[0059] 其中，η为Xt的维数。
[0060] 步骤22,利用上一时刻的参数值对于当前时刻高斯混合模型的参数进行更新；
[0061] 该步骤中，第i个高斯分布的平均值和方差的参数分别按照公式(3)、（4)所示来更 新：
[0062]
[0063]
[0064] 其中，5为学习率，即模型的更新速度,μυ-!表示上一时刻的第i个高斯分布的平均 值，表示当前时刻的第i个高斯分布的平均值，表示上一时刻的第i个高斯分布的方 差，Crf i表示当前时刻的第i个高斯分布的方差。
[0065] 步骤23,利用参数更新后的混合高斯模型来表征图像中各个像素点的特征，并据 此进行前景检测，得到前景图像，具体地，在进行前景检测时，将当前图像的某个像素点的 像素值与该像素点对应的混合高斯模型的均值进行比较，当两者距离小于该混合高斯模型 的方差的3倍时，表示匹配成功，若匹配成功则判定该像素点为背景点，否则为前景点； [0066]步骤24,对所述步骤23得到的前景图像进行形态学滤波的开操作，即先腐蚀再膨 胀，去掉前景图像中不相关的噪声的同时还能够提高提取图像的完整性；
[0067] 步骤25,利用连通域分析方法判断经过所述步骤24处理后得到的前景图像中有无 人脸的出现。
[0068] 该步骤进一步包括以下步骤：
[0069] 步骤251，利用连通域分析方法对于经过所述步骤24处理后得到的前景图像进行 分割，得到多个连通域；
[0070]步骤252,计算所述步骤251得到的各个连通域的轮廓长度，当存在一个连通域的 轮廓长度大于某一预设的最小阈值时，表示图像采集设备中有人脸出现，例如，当图像分辨 率为640 X 480时，最小轮廓长度的阈值可设置为5000。
[0071]步骤3:当检测到所述视频图像中出现人脸时，检测所述图像采集设备是否出现遮 挡，当判断出现遮挡时启动报警提示，当判断未出现遮挡时，转至步骤4;
[0072]所述步骤3中，对图像采集设备进行遮挡检测时，首先将所述视频图像进行灰度化 得到灰度图像，然后提取灰度图像的梯度特征信息，从而进行图像采集设备的遮挡检测，具 体地，所述步骤3包括以下步骤：
[0073]步骤31，对于所述视频图像进行灰度化，得到灰度图像；
[0074] 步骤32,对得到的灰度图像进行Sobel梯度信息的提取，在本发明一实施例中，选 取的卷积因子如图3所示，图3中，（a)(b)图分别表示来计算X和Y方向的导数；
[0075] 步骤33,对提取得到的梯度信息进行二值化操作，设初始视频图像的像素值为 pixel，二值化后的像素值为R，则二值化过程如公式(5)所示：
[0076]
[0077] 其中，threshold表示二值化阈值。
[0078]步骤34,统计梯度值大于某一预设阈值（比如可设为245~250)的像素点的个数， 当得到的像素点个数超过一定数量时，即认为图像采集设备出现遮挡；
[0079] 步骤35,在所述步骤34检测得到图像采集设备出现遮挡时进行报警提示，然后再 继续进行下一帧视频图像序列的检测，当在一预设时间阈值（比如5秒）内连续检测到图像 采集设备出现遮挡时，则进行拒绝服务的警报，同时终止遮挡检测的工作。
[0080] 步骤4:对于所述步骤3得到的检测结果进行进一步判断，当未出现图像采集设备 的遮挡时，继续进行人脸及五官的遮挡检测，即人脸完整性检测，并据此判断图像采集设备 内是否存在人脸的遮挡。
[0081] 该步骤中，对视频图像序列进行人脸以及眼睛、鼻子和嘴等五官的完整性检测，具 体地，所述步骤4进一步包括以下步骤：
[0082] 步骤41，将所述视频图像按一定比例缩小，从而提高检测的速度;其中，压缩的比 例范围可取为1.1~1.3之间。
[0083] 步骤42,对压缩后的图像进行直方图均衡操作，去除图像中存在的无关噪声；
[0084] 步骤43,使用基于Haar-Iike特征的Adaboost级联分类器进行图像中人脸的检测； [0085]在本发明一实施例中，使用的3类14种Haar-Iike特征如图4所示，其中，图（a)表示 提取的边缘特征，图(b)表示提取的线性特征，图（c)表示提取的中心环绕特征。在提取得到 检测特征后，使用如图5所示的积分图对特征值的计算进行加速，即坐标中每一个像素点的 积分图的值均为其左上角所有像素之和，在计算出检测窗口中每一个像素点的积分图后， 如图6所示即可按照如下公式(6)所示计算出检测窗口的积分图的值：
[0086] S(D)=S(A+B+C+D)+S(A)-S(A+B)-S(A+C) (6)
[0087] 其中，S( ·)代表指定区域的面积大小，例如S(A)代表A区域的面积大小，而A区域 的范围如图6所示。
[0088] 步骤44,当检测到存在人脸时，获取人脸所在外接矩形框的左上顶点坐标以及宽、 高，同时判断外接矩形框的大小是否在一定阈值（比如（220，220)~（280，280)之间）范围 内，若是，则检测人脸正确，否则，认为检测的人脸错误；
[0089] 步骤45,在人脸检测获得的外接矩形框中，选取部分大小，分别设置眼睛、鼻子以 及嘴检测的感兴趣区域，再在感兴趣区域中使用基于Haar-Iike的Adaboost级联分类器分 别进行人眼睛、鼻子和嘴的检测，当五官检测完整时，即说明图像采集设备内没有出现人脸 的遮挡，否则，认为出现人脸的遮挡并进行报警提示；
[0090] 步骤46,在检测出现人脸的遮挡时进行报警提示，然后再继续进行下一帧视频图 像序列的检测，当在一预设时间阈值(比如5秒）内连续检测到出现人脸五官的遮挡时，则进 行拒绝服务的警报，同时终止检测的工作。
[0091] 综上所述，本发明提出了一种图像采集设备及人脸五官的遮挡检测方法。
[0092] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。
【主权项】
1. 一种图像采集设备及人脸五官遮挡检测方法，其特征在于，包括以下步骤： 步骤1:利用图像采集设备采集监控区域的视频图像； 步骤2:对于所述图像采集设备采集得到的视频图像进行背景建模以及检测前景，并判 断所述视频图像中有无人脸的出现； 步骤3:当检测到所述视频图像中出现人脸时，检测所述图像采集设备是否出现遮挡， 当判断出现遮挡时启动报警提示，当判断未出现遮挡时，转至步骤4; 步骤4:继续进行人脸及五官的遮挡检测，即人脸完整性检测，并据此判断图像采集设 备内是否存在人脸的遮挡。2. 根据权利要求1所述的方法，其特征在于，所述步骤1还包括对采集得到的图像进行 处理和显示的步骤。3. 根据权利要求1所述的方法，其特征在于，利用混合高斯方法对于所述图像采集设备 采集得到的视频图像进行背景建模。4. 根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤： 步骤21，建立高斯混合模型； 步骤22,利用上一时刻的参数值对于当前时刻高斯混合模型的参数进行更新； 步骤23,利用参数更新后的混合高斯模型来表征图像中各个像素点的特征，并据此进 行前景检测，得到前景图像； 步骤24,对所述步骤23得到的前景图像进行形态学滤波的开操作； 步骤25,利用连通域分析方法判断经过所述步骤24处理后得到的前景图像中有无人脸 的出现。5. 根据权利要求4所述的方法，其特征在于，所述步骤23中，在进行前景检测时，将当前 图像的某个像素点与所述混合高斯模型表征的相应位置处的像素点进行匹配，如果匹配成 功则判定该像素点为背景点，否则为前景点。6. 根据权利要求4所述的方法，其特征在于，所述步骤25进一步包括以下步骤： 步骤251，利用连通域分析方法对于经过所述步骤24处理后得到的前景图像进行分割， 得到多个连通域； 步骤252,计算所述步骤251得到的各个连通域的轮廓长度，当存在一个连通域的轮廓 长度大于某一预设的最小阈值时，表示图像采集设备中有人脸出现。7. 根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤： 步骤31，对于所述视频图像进行灰度化，得到灰度图像； 步骤32,对得到的灰度图像进行Sobel梯度信息的提取； 步骤33，对提取得到的梯度信息进行二值化操作； 步骤34,统计梯度值大于某一预设阈值的像素点的个数，当得到的像素点个数超过一 定数量时，即认为图像采集设备出现遮挡； 步骤35,在所述步骤34检测得到图像采集设备出现遮挡时进行报警提示，然后再继续 进行下一帧视频图像序列的检测，当在一预设时间阈值内连续检测到图像采集设备出现遮 挡时，则进行拒绝服务的警报，同时终止遮挡检测的工作。8. 根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤： 步骤41，将所述视频图像进行压缩； 步骤42，对压缩后的图像进行直方图均衡操作； 步骤43，进行图像中人脸的检测； 步骤44,当检测到存在人脸时，获取人脸所在外接矩形框的左上顶点坐标以及宽、高， 同时判断外接矩形框的大小是否在一定阈值范围内，若是，则检测人脸正确，否则，认为检 测的人脸错误； 步骤45,在人脸检测获得的外接矩形框中，分别设置眼睛、鼻子以及嘴检测的感兴趣区 域，再在感兴趣区域中分别进行人眼睛、鼻子和嘴的检测，当五官检测完整时，即说明图像 采集设备内没有出现人脸的遮挡，否则，认为出现人脸的遮挡并进行报警提示； 步骤46,在检测出现人脸的遮挡时进行报警提示，然后再继续进行下一帧视频图像序 列的检测，当在一预设时间阈值内连续检测到出现人脸五官的遮挡时，则进行拒绝服务的 警报，同时终止检测的工作。9. 根据权利要求8所述的方法，其特征在于，所述步骤43中，使用基于Haar-1 ike特征的 Adaboost级联分类器进行图像中人脸的检测。10. 根据权利要求1所述的方法，其特征在于，所述步骤45中，使用基于Haar-like的 Adaboost级联分类器分别进行人眼睛、鼻子和嘴的检测。
【文档编号】G07F19/00GK106056079SQ201610375049
【公开日】2016年10月26日
【申请日】2016年5月31日
【发明人】张宇佳, 赵晓光, 谭民
【申请人】中国科学院自动化研究所