一种基于流形正则化支持向量机的图像显著性检测方法与流程

本发明属于计算机视觉技术领域，涉及图像信息处理的技术领域，特别涉及到一种基于流形正则化支持向量机模型的图像显著性检测方法，适用于静态图像的显著目标检测。

背景技术：

随着计算机技术的发展及数码电子产品的普及，图像资源越来越丰富，满足了人们对图像信息的大量采集与应用，但信息繁杂冗余的问题也随之而来。受生物视觉系统高效的视觉信息处理机制原理启发，计算机视觉领域的图像显著性检测应运而生。图像场景中具有显著性的事物基本上富含了本幅图像的主要信息，越来越多的研究人员开始探寻在大量图像中根据图像特征(比如，颜色、空间位置、纹理等信息)提取有代表性信息从而间接有效地代表原有图像，进而较快速高效准确地检测出图像或场景中的显著性物体。图像显著性检测作为预处理部分，可以应用于计算机图像检索、图像分割、自适应压缩、目标定位、感兴趣区域检测、图像匹配等，有很大的发展前景。

尽管图像显著性检测领域已经取得了很大的研究成果，但仍然有很多问题没有解决，比如图像中含有多个显著目标、目标尺度过大或过小问题，有些算法的检测结果还不太准确。除此之外，有的显著性检测算法采用监督的方式，需要大量的人工标记的真值训练样本来训练检测模型，成本比较高；有的显著性检测算法仅从图像局部或者图像全局的角度进行显著性检测，导致检测出的显著目标不完整或者目标不够突出。

技术实现要素：

本发明所要解决的技术问题是：弥补上述现有算法的不足，提供一种基于半监督的流形正则化支持向量机的图像显著性检测方法，无需人工标记的真值，只需少量的训练样本，而且分别从图像全局和局部的角度进行显著目标检测。

本发明的技术方案：

一种基于流形正则化支持向量机的图像显著性检测方法，步骤如下：

a、根据先验知识计算得到初始的显著性图

a1、将给定图像分割成100～300个超像素，提取所有超像素的坐标、颜色、文理特征，得到每个超像素的75维特征向量；

a2、采用随机森林方法，学习图像中所有超像素的稠密关联矩阵a；

a3、采用测地目标预测方法，产生多个给定图像的目标预测二值图，基于稠密关联矩阵a，分别根据边界先验和平滑先验计算每个目标预测二值图中白色部分对应的图像区域的背景分值和目标分值计算公式如下：

式(1)中，b表示位于图像边界的超像素的集合，ri表示位于目标预测二值图i内图像的超像素的集合，u和v分别表示两个超像素；

a4、将所有的目标预测二值图的背景分值和目标分值分别进行归一化，按照公式(2)计算每个像素的显著性值；

式(2)中，n表示目标预测二值图的数目，i表示第i个目标预测二值图，如果像素p∈ri，δp＝1，否则δp＝0；将所有的像素的显著性值都进行归一化，得到初始的显著性图sin，如图2(b)所示。

b、根据初始显著性图选择伪标记样本和未标记样本

b1、将步骤a1得到的超像素集合为s＝l∪u，l表示标记样本，包含标记的前景样本和背景样本，u表示图像中未标记的样本；计算初始显著性图中所有超像素的显著性值的均值，将显著性值大于1.7倍显著性均值的超像素标记为前景样本，标签yi设置为1；将显著性值低于0.05的超像素标记为背景样本，标签yi设置为-1；将图像中显著性值介于上面两者之间的超像素作为未标记样本u。

c、构建局部流形正则项

c1、提取图像中超像素的rgb、cielab、坐标特征，构建无向闭环图模型，并将每个超像素与和它位置相近的15～20个超像素连接。

c2、两超像素之间相似度值的计算公式如下：

式(3)中，xi和xj分别表示超像素i和超像素j的特征向量，σ是一个常数，它控制了权重的强度。则图模型的邻接矩阵可以表示为w＝[wij]i,j＝1,...,n，n表示超像素集合s中超像素的数目，超像素i的度di可以通过计算得到。将未归一化的拉普拉斯矩阵定义为局部流形正则矩阵，即：

rl＝d-w(4)

式(4)中，d＝diag{di,...,dn}为图模型的度矩阵。那么，局部流形正则项可以写成如下的形式：

ωl＝f^trlf＝w^tkrlkw(5)

式(5)中，k为rbf核矩阵，w为要学习的参数。

d、构建全局流形正则项

d1、对于一幅图像中超像素集合s中的每个超像素i，在特征空间(包含超像素的颜色特征和坐标特征)选取与之最邻近的15～20个邻居超像素构建相应的局部流形正则矩阵gi。

d2、全局的流形正则项ωg可以按照公式(6)构建得到。

式(6)中，fi表示邻居超像素集合ni中15～20个超像素的显著性预测值f组成的向量。δi表示一个指示矩阵，它的第l(i)列元素为1，其余列的元素均为0。l(i)表示超像素i在它的邻居超像素集合ni中的索引。ki表示定义在邻居超像素集合ni上的一个核矩阵，描述了邻居超像素之间的相似程度，可以根据公式(3)计算得到，但σ在邻居超像素集合ni上是自适应的，而非常数。为ki的伪逆矩阵。按照{fi|i∈s}在f中的索引将{gi|i∈s}重新进行整理排列，便得到了全局流形正则矩阵rg。则全局正则项为：

ωg＝f^trgf＝w^tkrgkw(7)

e、训练局部和全局流形正则化支持向量机模型，预测每个超像素的显著性值

e1、流形正则化支持向量机模型表示成如下公式：

式(8)中，γ1为解边界的权重，γ2为流形正则项的权重，ξi为超像素i的松弛变量，ω为流形正则项。

e2、将ω＝ωl和ω＝ωg分别代入公式(8)中，训练两个流形正则化支持向量机模型，并预测超像素i的显著性值sl(i)和sg(i)。

f、构造联合优化模型，从多尺度角度融合步骤e2得到的两个显著性检测结果，得到最终的显著性检测结果。

f1、将给定图像进行多尺度分割，v＝s∪s'包含了3～5个不同尺度下的超像素集合，根据公式(9)计算

xi和xj分别表示超像素i和超像素j的特征向量，σ是一个常数，它控制了权重的强度。则多尺度超像素间的关联矩阵为|v|表示位于集合v内的超像素的个数，超像素i的度可以通过计算得到。多尺度图模型的拉普拉斯矩阵为：

式(10)中，为多尺度图模型的度矩阵。

f2、联合优化模型可以表示成如下的形式：

式(11)中，和分别表示超像素i属于前景和背景的概率，为关联矩阵中第i行第j列的元素，表示了超像素i和超像素j之间的相似度。

f3、联合优化模型的闭合解为：

式(12)中，i是一个|v|维的全1列向量。若超像素i属于集合s'，则若超像素i属于s，则若超像素i属于集合s'，则若超像素i属于s，则根据公式(12)，集合v中所有尺度的超像素的显著性值便可计算出来。

f4、根据公式(13)平均所有尺度的显著性图，计算得到图像中每个像素的显著性值：

式(13)中，p表示一个像素，m表示某一尺度，sm表示在尺度m下得到的图像显著性图，s表示融合多尺度下的显著性图的结果。这样，最终的图像显著性检测结果便得到了，如图2(c)所示。

本发明的有益效果：

(1)采用少量伪标记样本进行训练，减少了人工工作量和模型训练成本；

(2)分别从图像全局和局部的角度构建流形正则矩阵，保证了检测出的显著目标的突出性和完整性；

(3)联合优化方法进一步优化了支持向量机模型预测的显著性检测结果，使得检测更加准确，目标区域更加高亮平滑；

(4)在一些特殊的图像中，比如显著目标尺寸过大或过小、多目标的图像中，本发明的方法也可以较好地检测出来。

附图说明

图1为本发明方法的流程示意图。

图2为本发明方法即利用流形正则化支持向量机方法检测的结果。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种基于流形正则化支持向量机的图像显著性检测方法，步骤如下：

a、根据先验知识计算得到初始的显著性图

a1、将给定的图像分割成100～300个超像素，提取所有超像素的坐标、颜色、文理特征，得到每个超像素的75维特征向量；

a2、采用随机森林方法，学习图像中所有超像素的稠密关联矩阵a；

a3、采用测地目标预测方法，产生1000个给定的图像的目标预测二值图，基于关联矩阵a，分别根据边界先验和平滑先验计算每个目标预测二值图中白色部分对应的图像区域的背景分值和目标分值计算公式如下：

式(1)中，b表示位于图像边界的超像素的集合，ri表示位于目标预测二值图i内图像的超像素的集合。

a4、将所有的目标预测二值图的背景分值和目标分值分别进行归一化。按照公式(2)计算每个像素的显著性值。

式(2)中，将所有的超像素的显著性值都进行归一化，得到初始的显著性图sin，如图2(b)所示。

b、根据初始的显著性图选择伪标记样本和未标记样本：

b1、所有的超像素集合为s＝l∪u，l表示标记样本，包含标记的前景样本和背景样本，u表示图像中未标记的样本。计算初始显著性图中所有超像素的显著性值的均值，将显著性值大于1.7倍显著性均值的超像素标记为前景样本，标签yi设置为1；将显著性值低于0.05的超像素标记为背景样本，标签yi设置为-1；将图像中显著性值介于上面两者之间的超像素作为未标记样本u。

c、构建局部流形正则项：

c1、提取图像中超像素的rgb、cielab、坐标特征，构建无向闭环图模型，并将每个超像素与和它位置相近的k个超像素连接。

c2、两超像素之间相似度值的计算公式如下：

式(3)中，xi和xj分别表示超像素i和超像素j的特征向量，σ是一个常数，它控制了权重的强度。则图模型的邻接矩阵可以表示为w＝[wij]i,j＝1,...,n，超像素i的度di可以通过计算得到。将未归一化的拉普拉斯矩阵定义为局部流形正则矩阵，即：

rl＝d-w(4)

式(4)中，d＝diag{di,...,dn}为图模型的度矩阵。那么，局部流形正则项可以写成如下的形式：

ωl＝f^trlf＝w^tkrlkw(5)

d、构建全局流形正则项：

d1、对于一幅图像中超像素集合s中的每个超像素i，在特征空间(包含超像素的颜色特征和坐标特征)选取与之最邻近的k个邻居超像素构建相应的局部流形正则矩阵gi。

d2、全局的流形正则项ωg可以按照公式(6)构建得到。

式(6)中，fi表示邻居超像素集合ni中k个超像素的显著性预测值f组成的向量。δi表示一个指示矩阵，它的第l(i)列元素为1，其余列的元素均为0。l(i)表示超像素i在它的邻居超像素集合ni中的索引。ki表示定义在邻居超像素集合ni上的一个核矩阵，描述了邻居超像素之间的相似程度，可以根据公式(3)计算得到，但σ在邻居超像素集合ni上是自适应的，而非常数。为ki的伪逆矩阵。按照{fi|i∈s}在f中的索引将{gi|i∈s}重新进行整理排列，便得到了全局流形正则矩阵rg。则全局正则项为：

ωg＝f^trgf＝w^tkrgkw(7)

e、训练局部和全局流形正则化支持向量机模型，预测每个超像素的显著性值。

e1、流形正则化支持向量机模型表示成如下公式：

式(8)中，γ1为解边界的权重，γ2为流形正则项的权重。

e2、将ω＝ωl和ω＝ωg分别代入公式(8)中，训练两个流形正则化支持向量机模型，并预测超像素的显著性值。

f、构造联合优化模型，从多尺度角度融合第e2步得到的两个显著性检测结果，得到最终的显著性检测结果。

f1、将给定图像进行多尺度分割，v＝s∪s'包含了四个不同尺度下的超像素集合。计算得到一个多尺度超像素间的关联矩阵计算方法和第c2步相同。

f2、联合优化模型可以表示成如下的形式：

式(9)中，|v|表示位于集合v内的超像素的个数，和分别表示超像素i属于前景和背景的概率，为关联矩阵中第i行第j列的元素，表示了超像素i和超像素j之间的相似度。

f3、联合优化模型的闭合解为：

式(10)中，表示多尺度图模型的拉普拉斯矩阵，根据公式(4)由关联矩阵得到。i是一个|v|维的全1列向量。若超像素i属于集合s'，则若超像素i属于s，则若超像素i属于集合s'，则若超像素i属于s，则根据公式(10)，集合v中所有尺度的超像素的显著性值便可计算出来。

f4、根据公式(11)平均所有尺度的显著性图，计算得到图像中每个像素的显著性值：

式(11)中，p表示一个像素，m表示某一尺度，sm表示在尺度m下得到的图像显著性图，s表示融合多尺度下的显著性图的结果。这样，最终的图像显著性检测结果便得到了，如图2(c)所示。