保持颜色信息的形变敏感器官模型下的不良图像检测方法
【专利摘要】本发明公开了一种保持颜色信息的形变敏感器官模型下的不良图像检测方法，包括采用混合高斯模型建立人体敏感器官的颜色模型；提取敏感器官训练样本的HoG特征及GMM特征；对每一种人体敏感器官的特定姿态，在其HoG特征和GMM特征相结合后的特征上，利用可形变部件模型以及隐含支撑向量机训练该敏感器官在特定姿态下的检测器，将多种姿态下的检测器集成为该敏感器官的混合形变模型；多种人体敏感器官分类器分别检测测试图像，融合检测结果并判定图像的性质。本发明利用不良图像中敏感器官的高层语义信息鉴别不良图像，有效地解决了正常图像的误判问题，可用于过滤图像中的色情信息。
【专利说明】保持颜色信息的形变敏感器官模型下的不良图像检测方法
【技术领域】
[0001]本发明属于计算机视觉与模式识别的交叉领域，涉及一种不良图像的检测方法，特别涉及基于颜色信息保持的多尺度可形变部件模型融合检测方法，可用于检测图像中的人体敏感器官从而过滤色情图像。
【背景技术】
[0002]随着互联网的普及，互联网用户可以方便地获取各种信息，然而，网络中的色情图像和视频损害了网络的健康。特别是，网络中的色情信息传播也日益隐蔽，严重影响了用户尤其是青少年的身心健康。因而如何有效遏制网络中此类不良信息的传播，是一个亟待解决的问题。由于视频是由图像帧组成的，所以不良图像检测技术是视频过滤的基础，不良图像检测也因此成为该领域的研究热点。
[0003]由于不良图像中常裸露大量的皮肤区域，早期的不良图像检测方法通常先检测人体的肤色区域，然后提取肤色区域中的低层特征(肤色区域的形状和纹理、肤色与非肤色区域之间的面积比例等)进行不良信息判别。其代表性的检测方法如美国伊利诺伊大学香槟分校的Fleck等提出的“Finding naked people”方法[1]。这种方法在描述肤色时需要选择合适的色彩空间，研究表明，在YC1A色彩空间中的Cb(；色度分量上，人类肤色具有良好的聚类特性，可用高斯模型等方法进行肤色建模。考虑到人种对肤色的影响，典型的肤色提取方法采用混合高斯模型(Gaussian mixture model,GMM),将不同肤色的高斯模型融合起来同时检测多种肤色。然而，不良图像中的敏感器官往往包含非肤色区域，该类方法如果漏检非肤色区域，将使得后续的所能提取的鉴别性特征减少，从而影响检测方法的检测性能。
[0004]此外，不良图像内容复杂，肤色区域中的低层特征不能精确地描述图像的语义内容。为此，研究人员采用词袋模型来检测不良图像。例如，瑞士谷歌的Deselaers等提出先检测图像中的尺度不变特征变换特征，将这些特征量化成视觉单词，然后统计单词的直方图，根据直方图的分布情况来检测色情图像[2]。鉴于词袋模型中单词的语义信息并不明确，德国奥格斯堡大学的Lienhart等提出基于概率隐含语义分析的不良图像检测方法[3]，试图揭示共现(Co-occuring)单词所组成的主题(Topic)信息，但是这些主题所对应的语义信息仍然不明确。
[0005]由于不良图像中敏感器官包含着明确的语义信息，可用于鉴别不良图像。中科院的胡卫明等提出训练基于Haar-1ike特征的人脸、女性乳房等的检测器来检测图像中的关键人体器官，以此作为高层特征，并结合肤色区域中的低层特征来检测不良图像M。基于敏感器官检测的检测方法符合人的语义描述，敏感器官检测器应该对光照变化及目标形变具有良好的适应性。
[0006]当前的各种目标检测方法中，美国布朗大学的Felzenszwalb等人提出了一种基于形变模型的目标检测方法[5]。形变模型中的梯度方向直方图(Histogram of orientedgradients,HoG)特征被用来描述目标的部分和整体的形状信息，颜色信息是实现不良图像检测的一个重要的视觉线索，基于目标检测的方法并没有考虑其颜色信息。
[0007]参考文献:
[0008][I]Fleck, Margaret Μ., David A.Forsyth, and Chris B.Finding nakedpeople,European Conference on Computer Vis1n，I1:592—602， 1996.
[0009][2]Deselaers T., Pimenidis Land Ney H.Bag-of-visual-words models foradult image classificat1n and filtering, IEEE Internat1nal Conference on PatternRecognit1n, pp.1-4, 2008.
[0010][3]Lienhart R.and Hauke R.Filtering adult image content with topicmodels，IEEE Internat1nal Conference on Multimedia and Expo, pp.1472—1475，2009.
[0011][4]Hu W., Zuo H., Wu 0., Chen Y.，Zhang Z.and Suter D.Recognit1nof adult images, videos, and web page bags,ACM Transact1ns on MultimediaComputing, Communicat1ns and Applicat1ns, 7 (28):1-24,2011.
[0012][5]Felzenszwalb P.F.，Girshick R.B.，McAllester D.and Ramanan D.0bjectdetect1n with discriminativeIy trained part-based models, IEEE Transact1ns onPattern Analysis and Machine Intelligence，32 (9):1627-1645，2010.
【发明内容】
[0013]为解决现有的敏感器官检测器不考虑图像的颜色信息，导致正常图像误判的问题，本发明利用不良图像中敏感器官的高层语义信息鉴别不良图像，提供了一种保持颜色信息的形变敏感器官模型下的不良图像检测方法。该方法将基于GMM模型的人体敏感器官颜色信息与基于HoG特征的形状信息相结合作为敏感器官的特征，并利用混合形变模型来进行训练，得到多尺度可形变的多个敏感器官检测器，最后融合这些敏感器官检测器以实现不良图像的检测。
[0014]具体而言，本发明所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，包括如下步骤:
[0015](I)搜集不良图像训练集，在训练集图像上标记多种人体敏感器官，作为敏感器官训练样本；
[0016](2)从敏感器官训练样本上随机采样获取像素点，并组成敏感器官的颜色样本集；在颜色样本集上训练GMM模型得到人体敏感器官的颜色模型；
[0017](3)提取敏感器官训练样本的HoG特征和GMM特征，并将HoG特征和GMM特征相结合作为敏感器官的特征；
[0018](4)对每一种人体敏感器官的特定姿态，在其HoG特征和GMM特征相结合后的特征上，训练该敏感器官在特定姿态下的检测器，将多种姿态下的检测器集成该敏感器官的混合形变模型；
[0019](5)用敏感器官的混合形变模型分别对测试图像进行检测，融合检测结果并判定图像的性质。
[0020]在所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法中，步骤(3)所述将HoG特征和GMM特征相结合作为敏感器官的特征的方法包括如下步骤:
[0021]2.1)敏感器官训练样本图像划分成若干个细胞单元，将细胞单元中的每个像素从RGB颜色空间转换到YCb(；颜色空间，并提取其Cb、(；色度分量的值；其中，Y表示亮度分量，Cb表示蓝色色度分量，Cr表示红色色度分量；
[0022]2.2)将细胞单元分成U个互不重叠的小图像块，分别求出每个小图像块在Cb、Cr色度分量上的均值向量
【权利要求】
1.保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，包括如下步骤: (1)搜集不良图像训练集，在训练集图像上标记多种人体敏感器官，作为敏感器官训练样本； (2)从敏感器官训练样本上随机采样获取像素点，并组成敏感器官的颜色样本集；在颜色样本集上训练GMM模型得到人体敏感器官的颜色模型； (3)提取敏感器官训练样本的HoG特征和GMM特征，并将HoG特征和GMM特征相结合作为敏感器官的特征； (4)对每一种人体敏感器官的特定姿态，在其HoG特征和GMM特征相结合后的特征上，训练该敏感器官在特定姿态下的检测器，将多种姿态下的检测器集成该敏感器官的混合形变模型； (5)用敏感器官的混合形变模型分别对测试图像进行检测，融合检测结果并判定图像的性质。
2.根据权利要求1所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，所述步骤(3)中将HoG特征和GMM特征相结合作为敏感器官的特征的方法包括如下步骤: 2.1)敏感器官训练样本图像划分成若干个细胞单元，将细胞单元中的每个像素从RGB颜色空间转换到YCb(；颜色空间，并提取其Cb、Cr色度分量的值；其中，Y表示亮度分量，Cb表示蓝色色度分量，Cr表示红色色度分量； 2.2)将细胞单元分成U个互不重叠的小图像块，分别求出每个小图像块在Cb、(；色度分量上的均值向量将这些均值向量分别代入步骤⑵训练出的GMM敏感器官颜色模型，得到每个小图像块在GMM模型中每个高斯分量ω^α e {1，2，…,K})上的值，作为该小图像块的颜色特征，将U个小图像块的颜色特征联合起来记作
2.3)将敏感器官训练样本图像转换成灰度图像，对输入图像进行Ga_a校正； 2.4)计算灰度图像中每个像素点(x，y)的水平方向和垂直方向梯度值8!￡匕7)和gy (X，y)；
gx (X，y) = I (χ+l, y) -1 (χ-l, y)
gy (χ, y) = I (χ, y+l) -1 (x, y-1) 式中，I(x，y)表示像素点(x，y)处的灰度值，根据下式计算像素点(x，y)处的梯度幅值 g(x，y)和方向 Ct (χ, y)；
2.5)将敏感器官训练样本的灰度图像划分成与步骤2.1)中相同的细胞单元，统计每个细胞单元上的梯度直方图，用于描述目标的形状信息； 2.6)对每个细胞单元采用9个bin的直方图来统计细胞单元内像素点的梯度信息,将各个bin中像素点的梯度大小进行累加组成该细胞单元的梯度直方图，用9维特征向量来表示，记作K = [fv f2,…，f9],其中fi为第i个bin的梯度累加值； 2.7)联合2.6)得到的梯度特征向量Ii1和步骤2.2)中得到颜色特征向量h2，组成细胞单元的特征向量Di1A]； 2.8)将细胞单元组合成块，并在块内归一化。
3.根据权利要求1所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，所述步骤(4)中敏感器官的混合形变模型的集成方法包括如下步骤: 3.1)为检测到不同尺度下的敏感器官，对敏感器官样本图像进行采样，得到不同分辨率的图像，组成图像金字塔；对图像金字塔中的每一层图像采用步骤(3)的方法将其HoG特征和GMM特征相结合作为敏感器官的特征，用H表示对图像金字塔提取了 HoG特征和GMM特征相结合后的特征金字塔； 3.2)根据某种敏感器官的特定姿态训练可形变部件模型，可形变部件模型用β =(F0,...，Fn, (I1,..., dn, b)表不，其中，F0表不根滤波器，F1,..., Fn表不η个部件滤波器，(Ii表示该形变模型的第i个部件滤波器相对根滤波器中“锚点”位置的形变代价，b表示模型的偏移量; 可形变部件模型的隐含参数Z = (Po,…，pn)，p指示滤波器在塔形特征H上取特征时的位置信息，P = (X，y, I)，表示滤波器在特征金字塔的第I层的(X，y)坐标位置上取特征；根据隐含参数z所指示的位置信息，可形变部件模型的各个滤波器在塔形特征H上取得的图像特征和形变代价组成向量Ψ(Η，ζ):
Ψ (H, ζ) = (Φ (H, Po),..., Φ (H, Pn)，- Φ d (dx1； dy!)，…，_ Φ d (dxn, dyn)，I) 式中，Φ (H, p)表示在塔形特征H的p位置上的特征向量，<i)d (dxi； (Iyi)=(dXi, dYi, dx,2, Clyi2)衡量第i个部件滤波器与“锚点”位置之间的形变代价； 3.3)由于色情图像中的敏感器官存在姿态多样性，所以针对每种敏感器官，根据其姿态的个数m，采用步骤3.2)所述可形变部件模型训练方法训练该类敏感器官在一种姿态下的模型M。，c = 1，...，!!!，然后将m个可形变部件模型集成起来组成混合形变模型M =(M1,…，Mm)。
4.根据权利要求1所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，所述步骤(5)中用敏感器官的混合形变模型对图像进行检测的方法包括如下步骤: 4.1)对待测图像进行采样，得到不同分辨率的图像，组成图像金字塔； 4.2)对图像金字塔中的每一层图像采用步骤(3)所述方法提取HoG特征和GMM特征相结合的特征，得到测试图像的塔形特征； 4.3)对待测图像进行滑窗检测，在测试窗口的塔形特征上，采用步骤(4)所述方法中训练的每种敏感器官的混合模型来检测各种敏感器官； 4.4)将各种敏感器官的检测结果进行融合，若测试图像中包含敏感器官，则判定该图像为不良图像；否则为正常图像。
5.根据权利要求2所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，所述步骤2.8)中的块由2*2个细胞单元组成，且块与块所占区域是可重叠的；所述块内归一化采用L2-范数滞后性阈值法进行归一化。
6.根据权利要求1所述的保持颜色信息的形变敏感器官模型下的不良图像检测方法，其特征在于，所述步骤(4)中采用可形变部件模型以及隐含支撑向量机训练敏感器官在特定姿态下的检测器。
【文档编号】G06K9/46GK104134059SQ201410359035
【公开日】2014年11月5日 申请日期:2014年7月25日 优先权日:2014年7月25日
【发明者】田春娜, 高新波, 张相南, 郑红, 李洁, 陆阳 申请人:西安电子科技大学