一种基于图割的多视点视频分割方法
【专利摘要】本发明涉及基于图割和视域相关性的多视点视频图像分割方法，属于图像处理领域；本发明为克服现有方法稳健性差，执行速率慢和分割效果不理想等缺点，提供了一种多视点视频图像分割方法，主要包括两大部分：改进的Grabcut算法对任意选取的单个视点图像进行分割，设置的光滑项使从背景中提取目标更加容易，保护目标边缘的措施使分割得到的目标边缘较平滑；在已获得的视点图像目标的基础上，采用视差匹配并结合形态学处理的方法提取其它视点图像目标；算法在超像素域中且采用匹配跟踪立体目标的分割方式，改进了Slic超像素生成算法，重新定义了能量函数，在保证分割结果具有较高准确性的前提下，有效提高了分割效率，具有很好的应用前景。
【专利说明】
-种基于图割的多视点视频分割方法
技术领域
[0001] 本发明属于图像处理领域，设及一种多视点图像的分割技术，尤其设及一种基于 图割和视域相关性的多视点视频图像分割方法。
【背景技术】
[0002] 随着多媒体技术的不断发展和人们生活水平的提高，普通视频已经不能满足人们 的视觉需求。与普通视频不同，多视点视频是使用多个摄像机从不同位置拍摄同一场景得 到的图像序列，可W提供真实=维世界景物的深度信息，具有更强的立体感和真实感，因而 深受人们的欢迎。对象基视频技术由于具有良好语义感知和交互操作等优点在立体图像和 视频处理中受到广泛关注。因此，对象基立体图像和视频技术具有广泛的应用前景，也是视 频技术未来的发展趋势之一。
[0003] 在对象基图像和视频处理技术中，准确高效的对象分割非常关键。能否对多视点 图像进行精确的分割，准确的提取出人们感兴趣的目标区域成为后续对象基处理成败的关 键。多视点视频图像分割也是当前图像处理领域的研究热点，虽然国内外有很多学者从事 图像与视频目标分割算法的研究，并且相关的图像与视频目标分割算法也很多，但目前面 向多视点视频图像的分割方法通常是单一的采用现有的图像与视频目标分割方法，如基于 JSEG的方法、基于C-V活动轮廓模型的方法等。而将现有分割方法与视域相关性相结合的分 割方案较少，且算法的稳健性、执行速率和分割效果都有待进一步提高。例如，一种结合视 差和边缘信息进行立体视频对象分割的方法:首先利用改进的分水岭算法对视差图进行分 害d，W获得初始的视频对象区域，然后对视频对象区域进行边缘检测，通过提取其轮廓获得 视频对象。所述方法中基于深度和颜色信息的联合分割具有较大的时间消耗，且分割质量 很大程度上取决于获取的视差图的准确性。再如一种利用=维图像的灰度和形状信息进行 分割的算法，该算法需要提前获得物体的形状信息，具有一定的局限性。另有研究者通过在 深度分割获得的轮廓上选取初始特征点，并引入运动几何空间(MGS)的概念实现分割，但当 选择的初始点偏离目标对象的轮廓时，分割结果将受到严重的影响。
【发明内容】
[0004] 本发明的目的之一是克服现有多视点图像分割算法在稳健性、执行速率和分割效 果等方面的不足，提供一种基于图割的多视点视频图像分割方法。所述多视点视频图像分 割方法不仅具有较高的稳健性和分割速率，而且能够获得较准确分割结果。
[0005] 为实现上述目的，本发明提供一种基于图割的多视点视频分割方法，主要包括如 下步骤：
[0006] 基于改进Grabcut算法分割由任意视点图像输入获得的输入图像，得到图像分割 结果；
[0007] 基于视差匹配分割其他视点图像，得到视点图像目标。
[000引进一步的，所述基于改进Grabcut算法分割输入图像的具体步骤如下：
[0009] 输入任意视点图像，得到输入图像；
[0010] 利用改进的Slic算法在所述输入图像中生成超像素，得到超像素图像；
[0011] 利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图像的分割 结果。
[0012] 更进一步的，所述利用改进的Slic算法在所述输入图像中生成超像素的具体步骤 如下：
[0013] 聚类中屯、的确定：
[0014] 设所述输入图像I冲像素点XiQ = I,…，WH)的空间坐标为（Xi，yi)，在LAB空间的 颜色值为（1 i，ai，bi)，期望生成的超像素点个数为num，其中，WH为输入图像11中像素点的总 数；
[0015] 计算步^5 将所述输入图像Ii分成大小为SXS的所述超像素点，令沪表 示生成所述超像素点的个数，聚类j = l，…，沪)表示第j个所述超像素点包含的像素点， nj(j = l，…，护)表示第j个所述超像素点包含的像素点个数；
[0016] 计算所述输入图像Ii中每个像素点的梯度值dt(Xi)，对于每个所述超像素点的中 屯、像素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中屯、，令Cj表示每个所述 聚类Vj的聚类中屯、，其坐标为(^，，在LAB空间的颜色值为b，〇;，6；：；)。
[0017] 聚类中屯、的移动：
[001引令A康示W像素点Xi为中屯、2SX2S范围内所包含的聚类中屯、的集合，即
[0019]
，计算所述像素点Xi与其2SX2S范围内的聚类中屯、 Cj的差异惩罚值d*(Xi，CjGAi):
[0020]
[0021] 其中，dc、ds和为所述像素点Xi与聚类中屯、Cj的颜色差异惩罚项、距离惩罚 项和梯度惩罚项，S为步长，m可视作颜色和距离的权重因子，通过调节m来改变dc和ds的权 重，A为梯度惩罚项的权重系数，dt(Xi)和dt(Xq)分别为所述像素点Xl、Xq的梯度值，其中Xq是 离Xi与Cj连线最接近且处于Xi与Cj之间的Xi八邻域方向像素点；
[0022] 将所述输入图像Ii中各像素点归类到所述差异惩罚值最小的聚类中屯、所在的类 中，同时更新每个聚类所包含的像素点数W，此时每个聚类可表示为：
[0023]
[0024] 依据所述每个聚类中所包含的像素点，重新计算聚类中屯、的坐标和颜色值：
[0025]
[00%]重复W上所述聚类中屯、的移动的步骤，直至满足如下条件：
[0027]
[0028] 其中，n表示当前迭代次数，M为相邻两次迭代过程中所述聚类发生变化的像素点 个数，Si、S2为设定的阔值。
[0029] 连通性的增强：
[0030] 将包含像素点个数小于^心3的所述超像素点合并到其相邻的超像素点中，最终得 到含有N个超像素点的超像素图像B。
[0031] 进一步的，所述利用改进的Grabcut算法对所述超像素图像进行分割的具体步骤 如下：
[0032] 超像素点的初始化：
[0033] 将所述超像素图像B中的所述超像素点Zi视作处理单元，将其所包含像素点的颜 色均值Zi作为所述超像素点Zi的颜色值，通过人工交互框选出包含完整目标的矩形区域，将 超像素点ZiQ = I,…，N)初始化为两类，矩形框内的超像素点作为可能的前景超像素集合， 用Tu表示，同时标记Qi = 1，框外的超像素点作为背景超像素集合，用Tb表示，标记Qi = O;
[0034] 利用k-mean算法分别对所述TluTb中的所述超像素聚类为K类，根据聚类结果分别 计算前景和背景高斯混合模型中各高斯分量的均值化和协方差Sk。
[0035] 迭代最小化：
[0036] 计算所述超像素点Zi属于第k(l，…，K)个所述高斯分量的概率邑如1|^^，2〇，将其 归类到具有最大概率值所在的高斯分量中，
[0037] 所述概率阱(Zil化，Sk)的定义如下：
[00；3 引
[0039] 依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型的参数0 (?, Sk,化），将每个超像素点的颜色值Zi代入所述前景和背景高斯混合模型中，依据下式 计算所述超像素点属于前景、背景的惩罚值〇1佔|〇1 = 1，1(，0)、〇1佔|〇1 = 〇，1(，0)，并分别将 其作为边{Zi，T巧日边{Zi，引的权值，
[0040]
[0041] 对给定所述超像素点Zi,计算其与八邻域像素点&所构成的n-link边的权值：
[0042]
[0043] 式中，dist( ?)表示为两超像素点的中屯、距离，丫为参数变量，M ? M表示超像素 点间的颜色差异，e由图像的对比度决定，V是n-link边的权值，对应能量函数的光滑项，hi 为所述超像素点Zi所包含的像素点对颜色均值Zi的标准差，ti表示超像素点Zi所包含像素 点的梯度均值经归一化处理的结果；
[0044] 更进一步的，较大的图像对比度对应较小的0值。
[0045] 更进一步的，为了充分利用超像素内部区域的纹理特征，光滑项中引入了像素块 的梯度和标准差信息。
[0046] 更进一步的，本算法将超像素梯度信息和标准差信息有机的结合，能够有效地衡 量区域间像素的同质性。
[0047] 更进一步的，当前背景颜色差异不明显时，仅利用像素的颜色信息很难将其区分， 容易造成误分割，而本算法提出的光滑项融合了超像素的颜色、梯度和方差信息，能够有效 地识别像素间的差异，在一定程度上可W降低错误率，提高分割质量。
[0048] 构建S-T网络图和相应的能量函数：
[0049]
[0050] 其中，区域项Er对应网络图t-link边的权值，而光滑项Eb对应网络图n-link边的权 值，C为网络图的一条切割线，容量用Icl表示；
[0051] 更进一步的，区域项Er对应网络图t-link边的权值，是对各个像素点分配标记进 行的惩罚，反应了图像的区域信息。
[0052] 更进一步的，光滑项Eb对应网络图n-link边的权值，可看作是对相邻像素分配不 同标记进行的惩罚，体现了分割的边界属性。
[0053] 基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模型中的超 像素点和超像素点标记口 i;
[0054] 重复W上所述迭代最小化的步骤，直至满足如下条件：
[0055] n^5,
[0056] 其中，S为设定的最大迭代次数，n为当前迭代次数；
[0057] 输出所述视点图像分割结果。
[005引进一步的，所述基于视差匹配分割其他视点图像的具体步骤如下：
[0059] 利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学处理后视点 图像；
[0060] 利用边界追踪算法对所述形态学处理后视点图像进行提取，得到目标轮廓；
[0061] 利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标图像；
[0062] 利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到连续的轮 廓；
[0063] 对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目标。
[0064] 更进一步的，所述利用边界追踪算法对所述形态学处理后视点图像进行提取的具 体步骤如下：
[00化]二值掩膜图像的获取：
[0066] 将处理后的前景目标像素点添加标记1，背景像素点添加标记0,得到前景目标的 二值掩膜图像。
[0067] 目标轮廓的提取：
[0068]设起始点bo为所述二值掩膜图像左上角标记为I的像素点，CO为与bo相邻的左侧像 素点，从CO开始顺时针方向捜索bo的八邻域像素点，bl表示遇到的第一个标记为1的邻域像 素点，C功序列中bi之前的像素点，并令b = bi，C = Ci;
[00例从C开始按顺时针方向捜索b的八邻域像素点，依次为山瓜，…，邮，直到标记为1的 第一个邻域像素点Dk，并令b = Dk，C = Dk-I;
[0070] 重复上一步骤，直到b = bo且找到的下一个边界点为bi，得到初步的目标轮廓。
[0071] 目标轮廓的获取：
[0072] 将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中 有且只有两个边界像素点，得到目标轮廓。
[0073] 更进一步的，所述细化是为了减少所需匹配的轮廓点数量，进一步提高算法效率。
[0074] 进一步的，所述利用局部匹配算法将所述目标轮廓匹配到其他视点图像中的具体 步骤如下：
[0075] 采用Census变换和MAD相结合的方式定义窗匹配代价函数C(x，y，d):
[0076] C(x,y,d)=a ? Cx(x,y,d) + (l-a) ? Cc(x,y,d),
[0077] 其中，Ct( ?)和Cc( ?)分别为基于纹理和基于颜色的窗匹配代价，a为二者的权重 系数；
[0078] 更进一步的，定义窗匹配代价函数是为了提高匹配的准确性。
[0079] 更进一步的，基于Census变换能够准确识别图像中颜色相近部分，而窗内像素的 MAD能够有效区分不同的低纹理区域。
[0080] 通过所述Census变换将窗内各像素与中屯、像素点进行比较，输出结果为一个0/1 比特串，设匹配窗W的大小为(2M+1) X (2N+1)，窗内中屯、像素点Xp的坐标为(Xp，yP)，对应像 素值为I (Xp，yp )，G (Xq，Xp )代表窗内除中屯、像素点外各像素点Xq G N ( Xp )与中屯、像素点的颜 色差异，其均值用M(Xp)表示，视差d的取值范围为D=[dmin，cUx]，比较G(Xq，Xp)与M(Xp),若 结果大于0,则相应位置添加标记1，否则添加标记0,对于视点1图像Ii中WXp为中屯、的匹配 窗，其Census变换可表示为：
[0081]
[0082]
[0083] 通过Hamming距离计算所述视点1图像Ii与视点2图像12中两匹配窗经过Census变 换后输出的比特串之间的差异程度H(Xp，d)，并利用指数形式对其归一化处理，得到区域纹 理的匹配代价Ct(x。,V。，d):
[0084]
[0085] H(Xp，d)=Ham min g(CTni(Xp)，CTn2(Xp-d))，
[0086] 当W所述视点I图像Ii为参考图像，所述视点姻像l2为目标图像时，基于区域颜色 的匹配代价可描述为：
[0087]
[008引
[0089] 其中，丫 Census和丫 MAD分别为化mming距离和MAD的归一化常数；
[0090] 更进一步的，所述利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接 的具体步骤如下：
[0091] 步骤a),将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像；
[0092] 更进一步的，进行膨胀处理是为了确保轮廓具有连续性。
[0093] 步骤b)，依次遍历所述膨胀后的图像中每个3 X3区域，区域中各点标记名称P1， P2,…，P9,其中Pi位于区域中屯、，若Pi为前景点，即Pi标记为1，且同时满足W下（1)、（2)、（3) =个条件，则将Pi标记为可删除点，
[0094] (1)设N(Pi)表示像素点Pi的八邻域像素点是前景点的个数，且满足2《N(pi)《6，
[00对 （2)设A(Pi)表示按P2，P3,…，P9的排列顺序时，出现Ol模式的个数，且A(Pi) = I,
[0096] (3)像素点P6、P8中至少有一个为背景点或像素点P2、P4都为背景点，即：P2Xp6Xp8 =0 且 P4Xp6Xp8 = 0;
[0097] 步骤C)，若所述步骤b)中存在可删除点，则令该点为背景点，即将该点标记为0;
[0098] 步骤d)，重新遍历图像中的每个3X3区域，若Pi为前景点且同时满足W上（1)、（2) 和如下(4) S个条件，则将Pi标记为可删除点，
[0099] (4)像素点P2、P4中至少有一个为背景点或像素点P6、P8都为背景点，即：P2Xp4Xp6 =0 且 P2Xp4Xp8 = 0;
[0100] 步骤e)，若所述步骤d)中存在可删除点，则令该点为背景点；
[0101] 步骤f)，迭代所述步骤b)~步骤e)直到没有可删除点为止；
[0102] 步骤g)，输出细化结果。
[0103] 本发明的有益效果在于：
[0104] (1)本发明提供了一种基于图割和视域相关性的多视点视频图像分割方法，不仅 具有较高的稳健性和分割速率，而且能够获得较准确分割结果；
[0105] (2)本发明通过在原有差异惩罚函数中添加梯度项并合理利用图像边缘的梯度信 息加大将边界两侧的像素点归为同一超像素做法的惩罚力度，从而有效地保留了前景的边 缘信息；
[0106] (3)本发明光滑项中引入了像素块的梯度和标准差信息，充分利用了超像素内部 区域的纹理特征，能够有效地衡量区域间像素的同质性。前背景颜色差异不明显时，仅利用 像素的颜色信息很难将其区分，容易造成误分割，而本算法提出的光滑项融合了超像素的 颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可W降低错误率，提 高分割质量。
【附图说明】
[0107] 图1为本算法的总体流程图；
[0108] 图2为改进Grabcut算法与原算法分割结果对比；
[0109] 图3为基于视差匹配的多视点图像分割结果。
【具体实施方式】
[0110] 下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中 描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可W被相互组合从而达 到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或 者部件，可应用于不同实施例中。
[0111] 本发明提供一种基于图割的多视点视频分割方法，主要包括基于改进Grabcut算 法的图像分割和基于视差匹配的图像分割两大部分，总体流程如图1所示。所述基于改进 Grabcut算法的图像分割步骤如下：
[0112] 步骤S100,输入视点1图像，得到输入图像Ii;
[0113] 步骤S200，利用改进的简单线性迭代聚类（S imp 1 e Li near 11 erat i ve Clustering, Slic)算法在所述输入图像中生成超像素，得到超像素图像；
[0114] 在步骤S200中，包括具体步骤S210聚类中屯、的确定、步骤S220聚类中屯、的移动和 步骤S230连通性的增强。
[0115] 所述步骤S210聚类中屯、的确定包括如下具体步骤：
[0116] 步骤S211，设所述输入图像Ii中像素点XiQ = I,…，WH)的空间坐标为(xi，yi)，在 LAB空间的颜色值为Qi, ai，bi)，期望生成的超像素点个数为num，其中，WH为输入图像I冲 像素点的总数；
[0117] 步骤S212，计算步^； 巧片述输入图像Ii分成大小约为SX S的超像素 点，令P'T"表示生成的超像素点的个数，聚类Vj (j = 1，…，P'T")表示第j个超像素点包含的像素 点，nj (j = 1，…，护)表示第j个超像素点包含的像素点个数；
[0118] 步骤S213,计算所述输入图像Ii中每个像素点的梯度值dt(Xi)，对于每个所述超像 素点的中屯、像素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中屯、，令表示 每个所述聚类Vj的聚类中屯、，其坐标为(X；，六;)，在LAB空间的颜色值为K，a;，占;)。
[0119] 所述步骤S220聚类中屯、的移动包括如下具体步骤：
[0120] 步骤S221，令A康示W像素点Xi为中屯、2SX2S范围内所包含的聚类中屯、的集合，即
[0121]
计算所述像素点Xi与其2S X 2S范围内的聚类中 屯、Cj的差异惩罚值d* (Xi，Cj G Ai):
[0122]
[0123] 其中，山、(13和山^分别为所述像素点乂1与聚类中屯、(：^的颜色差异惩罚项、距离惩罚 项和梯度惩罚项，m可视作颜色和距离的权重因子，通过调节m来改变山和山的权重，A为梯度 惩罚项的权重系数，dt(Xi)和dt(Xq)分别为所述像素点Xl、Xq的梯度值，其中Xq是离Xl与Cj连 线最接近且处于Xi与Cj之间的Xi八邻域方向像素点；
[0124] 在本步骤中，通过在原有差异惩罚函数中添加梯度项并合理利用图像边缘的梯度 信息加大将边界两侧的像素点归为同一超像素做法的惩罚力度，从而有效地保留了前景的 边缘信息。
[0125] 步骤S222,将所述输入图像Ii中各像素点归类到所述差异惩罚值最小的聚类中屯、 所在的类中，同时更新每个聚类所包含的像素点数ni，此时每个聚类可表示为：
[0126]
[0127]步骤S223,依据所述每个聚类中所包含的像素点，重新计算聚类中屯、的坐标和颜 色值：
[012 引
[0129] 步骤S224,重复进行所述步骤S221-步骤S223,直至满足如下条件：
[0130]
[0131] 其中，n表示当前迭代次数，M为相邻两次迭代过程中所述聚类发生变化的像素点 个数，Sl、S2为设定的阔值。
[0132] 所述步骤S230连通性的增强包括如下具体步骤：
[0133] 将包含像素点个数小于^\''的所述超像素点合并到其相邻的超像素点中，最终得 4 到含有N个超像素点的超像素图像B。
[0134] 步骤S300,利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图 像的分割结果。
[0135] 在本步骤中，包括具体步骤S310超像素点的初始化和步骤S320迭代最小化。
[0136] 所述步骤S310超像素点的初始化包括如下具体步骤：
[0137] 步骤S311，将所述超像素图像B中的所述超像素点Zi视作处理单元，将其所包含像 素点的颜色均值Zi作为所述超像素点Zi的颜色值，通过人工交互框选出包含完整目标的矩 形区域，将超像素点ZiQ = I，…，N)初始化为两类，矩形框内的超像素点作为可能的前景超 像素集合，用Tu表示，同时标记Qi = 1，框外的超像素点作为背景超像素集合，用Tb表示，标记 CIi = O;
[0138] 步骤S312,利用k-mean算法分别对所述TuJb中的所述超像素聚类为K类，根据聚类 结果分别计算前景和背景高斯混合模型中各高斯分量的均值化和协方差Sk。
[0139] 所述步骤S320迭代最小化包括如下具体步骤：
[0140] 步骤S321，计算所述超像素点Zi属于第k(l，…，K)个所述高斯分量的概率gk(zi iik，Sk)，将其归类到具有最大概率值所在的高斯分量中，
[0141] 所述概率阱(Zil化，Zk)的定义如下：
[0142]
[0143] 步骤S322,依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型 的参数0(化，Xk,化），将每个超像素点的颜色值Zi代入所述前景和背景高斯混合模型中，依 据下式计算所述超像素点属于前景、背景的惩罚值化(Zi I Qi = 1，K，目）、化(Zi I Qi = 0，K，目），并 分别将其作为边{Zi，T巧日边{Zi，引的权值，
[0144]
[014日]步骤S323,对给定所述超像素点Zi,计算其与八邻域像素点Zj所构成的n-1 ink边的 权值：
[0146]
[0147] 式中，dist( ?)表示为两超像素点的中屯、距离，丫为参数变量，M ? M表示超像素 点间的颜色差异，e由图像的对比度决定，V是n-link边的权值，对应能量函数的光滑项，hi 为所述超像素点Zi所包含的像素点对颜色均值Zi的标准差，ti表示超像素点Zi所包含像素 点的梯度均值经归一化处理的结果。
[0148] 在本步骤中，较大的图像对比度对应较小的0值;为了充分利用超像素内部区域的 纹理特征，光滑项中引入了像素块的梯度和标准差信息;本算法将超像素梯度信息和标准 差信息有机的结合，能够有效地衡量区域间像素的同质性;当前背景颜色差异不明显时，仅 利用像素的颜色信息很难将其区分，容易造成误分割，而本算法提出的光滑项融合了超像 素的颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可W降低错误 率，提高分割质量。
[0149] 步骤S324,构建S-T网络图和相应的能量函数：
[0150]
[0151] 其中，区域项Er对应网络图t-link边的权值，而光滑项Eb对应网络图n-link边的权 值，C为网络图的一条切割线，容量用I CI表示。
[0152] 在本步骤中，区域项Er对应网络图t-link边的权值，是对各个像素点分配标记进 行的惩罚，反应了图像的区域信息。
[0153] 在本步骤中，光滑项Eb对应网络图n-link边的权值，可看作是对相邻像素分配不 同标记进行的惩罚，体现了分割的边界属性。
[0154] 步骤S325,基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模 型中的超像素点和超像素点标记曰1。
[01巧]步骤S326,重复进行W上所述步骤S321-步骤S325,直至满足如下条件：
[0156] n^5,
[0157] 其中，S为设定的最大迭代次数，n为当前迭代次数；
[0158] 步骤S327,输出所述视点图像分割结果。
[0159] 所述基于视差匹配的图像分割步骤如下：
[0160] 步骤S400,利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学 处理后视点图像；
[0161] 步骤S500,利用边界追踪算法提取所述形态学处理后视点图像的目标轮廓；
[0162] 在本步骤中，包括具体步骤S510二值掩膜图像的获取、步骤S520目标轮廓的提取 和步骤S530目标轮廓的获取。
[0163] 所述步骤S510二值掩膜图像的获取包括如下具体步骤：
[0164] 将处理后的前景目标像素点添加标记1，背景像素点添加标记0,得到前景目标的 二值掩膜图像。
[0165] 所述步骤S520目标轮廓的提取包括如下具体步骤：
[0166] 步骤S521，设起始点bo为所述二值掩膜图像左上角标记为1的像素点，CO为与bo相 邻的左侧像素点，从CO开始顺时针方向捜索bo的八邻域像素点，b康示遇到的第一个标记为 1的邻域像素点，C功序列中b込前的像素点，并令b = bl，C = Cl;
[0167]步骤S522，从C开始按顺时针方向捜索b的八邻域像素点，依次为ni，ri2，…，ns，直到 标记为1的第一个邻域像素点nk，并令b = nk，c = nk-i;
[0168] 步骤S523,重复步骤S522,直到b = bo且找到的下一个边界点为bi，得到初步的目标 轮廓；
[0169] 所述步骤S530目标轮廓的获取包括如下具体步骤：
[0170] 将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中 有且只有两个边界像素点，得到目标轮廓。
[0171] 在本步骤中，所述细化是为了减少所需匹配的轮廓点数量，进一步提高算法效率。
[0172] 步骤S600,利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标 图像；
[0173] 在本步骤中，包括具体步骤S610、步骤S620和步骤S630。
[0174] 所述步骤S610包括如下具体步骤：
[01"75] 采用Census变换和平均绝对差算法(Mean Absolute Difference,MAD)相结合的 方式定义窗匹配代价函数C(x，y，d):
[0176] C(x,y,d)=a ? Cx(x,y,d) + (l-a) ? Cc(x,y,d),
[0177] 其中，Ct( ?)和Cc( ?)分别为基于纹理和基于颜色的窗匹配代价，a为二者的权重 系数。
[0178] 在本步骤中，定义窗匹配代价函数是为了提高匹配的准确性;基于Census变换能 够准确识别图像中颜色相近部分，而窗内像素的MAD能够有效区分不同的低纹理区域。
[0179] 所述步骤S620包括如下具体步骤：
[0180] 通过所述Census变换将窗内各像素与中屯、像素点进行比较，输出结果为一个0/1 比特串，设匹配窗W的大小为(2M+1) X (2N+1)，窗内中屯、像素点Xp的坐标为(Xp，yP)，对应像 素值为I (Xp，yp )，G (Xq，Xp )代表窗内除中屯、像素点外各像素点Xq G N ( Xp )与中屯、像素点的颜 色差异，其均值用M(Xp)表示，视差d的取值范围为D=[dmin，cUx]，比较G(Xq，Xp)与M(Xp),若 结果大于0,则相应位置添加标记1，否则添加标记0,对于视点1图像Ii中WXp为中屯、的匹配 窗，其Census变换可表示为：
[0181]
[0182]
[0183] 所述步骤S630包括如下具体步骤：
[0184] 通过Hamming距离计算所述视点1图像Ii与视点2图像12中两匹配窗经过Census变 换后输出的比特串之间的差异程度H(Xp，d)，并利用指数形式对其归一化处理，得到区域纹 理的匹配代价打(义。,7。，(1):
[0185]
[0186] H(Xp，d)=Ham min g(CTni(Xp)，CTn2(X广d));
[0187] 在本步骤中，当W所述视点I图像Ii为参考图像，所述视点姻像l2为目标图像时， 基于区域颜色的匹配代价可描述为：
[018 引
[0189]
[0190] 其中，丫 Census和丫MAD分别为化mming距离和MAD的归一化常数。
[0191] 步骤S700,利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到 连续的轮廓；
[0192] 在本步骤中，包括具体步骤S710、步骤S720、步骤S730、步骤S740、步骤S750、步骤 S760和步骤S770。
[0193] 所述步骤S710包括如下具体步骤：
[0194] 将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像。
[01M] 所述步骤S720包括如下具体步骤：
[0196] 依次遍历所述膨胀后的图像中每个3X3区域，区域中各点标记名称pi，p2,…，P9， 其中Pi位于区域中屯、，若Pi为前景点，即Pi标记为1，且同时满足W下(曰）、化）、（〇)立个条件， 则将Pi标记为可删除点，
[0197] (a)设N(Pi)表示像素点Pi的八邻域像素点是前景点的个数，且满足2《N(pi)《6，
[019引 （b)设A(Pl)表示按P2，P3，...，P9的排列顺序时，出现Ol模式的个数，且A(Pl) = I,
[0199] (C)像素点P6、P8中至少有一个为背景点或像素点P2、P4都为背景点，即：P2XP6XP8 =0 且 P4Xp6Xp8 = 0;
[0200] 所述步骤S730包括如下具体步骤：
[0201 ]若步骤S720中存在可删除点，则令该点为背景点，即将该点标记为0。
[0202] 所述步骤S740包括如下具体步骤：
[0203] 重新遍历图像中的每个3 X3区域，若Pi为前景点且同时满足W上(a)、（b)和如下 (d )=个条件，则将Pi标记为可删除点，
[0204] (d)像素点p2、p冲至少有一个为背景点或像素点P6、P8都为背景点，即：P2Xp4Xp6 =0且P2 X P4 X P8 = 0。
[0205] 所述步骤S750包括如下具体步骤：
[0206] 若步骤S740中存在可删除点，则令该点为背景点。
[0207] 所述步骤S760包括如下具体步骤：
[0208] 迭代步骤S720~步骤S750直到没有可删除点为止。
[0209] 所述步骤S770包括如下具体步骤：
[0210] 输出细化结果。
[0211] 步骤S800,对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目 标。
[0212] 采用本发明提供的方法对多视点图像进行分割的结果如下：
[0213] 图2为改进Grabcut算法与原算法分割结果对比。由图2中（b)、（C)的对比可W看 出，改进的Grabcut算法对目标整体的提取效果较原算法有了明显的改善。通过融合了像素 颜色、梯度等特征的光滑项更容易将目标从背景像素中提取出来，同时在生成所述超像素 点的预处理过程中添加了保护目标边缘的措施，使得最终分割得到的目标边缘较为平滑， 有效避免了 W往基于超像素点分割造成目标边缘粗糖现象的出现。
[0214] 对于多视点视频图像的分割，可充分利用图像间的视域相关性，在已获得的视点 图像目标的基础上，采用视差匹配并结合形态学处理的方法提取其它视点图像目标。本实 验W视点2中图像为例验证算法的可行性。实验中设定权重系数0 = 0.4,归一化常数 丫 Census、丫 MAD分别为10和20。实验结果如图3(C)所示，本发明提供的方法，不但可W简化多 视点图像的分割步骤，而且能够准确的提取出图像目标，获得较好的立体图像分割结果。
[0215] 为了进一步检验算法的性能，在相同实验环境下对grabcut算法和改进算法的耗 时进行了测试。设定生成的超像素个数num为1000,测试结果如表1所示。
[0216] 表1
[0217]
[0218] 由表1中的对比可W看出，改进算法的分割效率高于原算法。基于超像素域的高斯 混合模型迭代极大的降低了所需处理的数据量，从而有效的节约了时间资源。
[0219]本文虽然已经给出了本发明的一些实施例，但是本领域的技术人员应当理解，在 不脱离本发明精神的情况下，可W对本文的实施例进行改变。上述实施例只是示例性的，不 应W本文的实施例作为本发明权利范围的限定。
【主权项】
1. 一种基于图割的多视点视频分割方法，其特征在于，所述方法主要包括如下步骤： 基于改进Grabcut算法分割由任意视点图像输入获得的输入图像，得到图像分割结果； 基于视差匹配分割其他视点图像，得到视点图像目标。2. 根据权利要求1所述的一种基于图割的多视点视频分割方法，其特征在于，所述基于 改进Grabcut算法分割输入图像的具体步骤如下： 输入任意视点图像，得到输入图像； 利用改进的Slic算法在所述输入图像中生成超像素，得到超像素图像； 利用改进的Grabcut算法对所述超像素图像进行分割，得到所述视点图像的分割结果。3. 根据权利要求2所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用 改进的Slic算法在所述输入图像中生成超像素的具体步骤如下： 聚类中心的确定： 设所述输入图像11中像素点Xi (i = 1，…，WH)的空间坐标为(Xi，yi)，在LAB空间的颜色值 为(hA?，期望生成的超像素点个数为num，其中，WH为输入图像I冲像素点的总数； 计算步书，将所述输入图像h分成大小为SXS的所述超像素点，令#表示生 成所述超像素点的个数，聚类L(j = l，···，#)表示第j个所述超像素点包含的像素点，nj(j =1，…，#)表示第j个所述超像素点包含的像素点个数； 计算所述输入图像1:中每个像素点的梯度值dtUd，对于每个所述超像素点的中心像 素，将其八邻域像素点中梯度值最小的像素点作为初始聚类中心，令Q表示每个所述聚类％ 的聚类中心，其坐标为(χ?；),在LAB空间的颜色值为 聚类中心的移动： 令Ai表示以像素点Xi为中心2SX2S范围内所包含的聚类中心的集合，即 4 = {?.: |x; -彳| < 4 计算所述像素点Xi与其2S X 2S范围内的聚类中心Cj的 差异惩罚值cTUiAeAO:其中，dc、d4P<分别为所述像素点X,与聚类中心Cj的颜色差异惩罚项、距离惩罚项和 梯度惩罚项，m为颜色和距离的权重因子，λ为梯度惩罚项的权重系数，dt(Xi)和dt(Xq)分别 为所述像素点XhXq的梯度值，其中X q是离连线最接近且处于XgCj之间的Xi八邻域 方向像素点； 将所述输入图像Ii中各像素点归类到所述差异惩罚值最小的聚类中心所在的类中，同 时更新每个聚类所包含的像素点数?υ，此时每个聚类可表示为：依据所述每个聚类中所包含的像素点，重新计算聚类中心的坐标和颜色值：重复以上所述聚类中心的移动的步骤，直至满足如下条件： Μ 、 τ<(^η>δ2， 其中，η表示当前迭代次数，Μ为相邻两次迭代过程中所述聚类发生变化的像素点个数， δι、δ2为设定的阈值； 连通性的增强： 将包含像素点个数小于的所述超像素点合并到其相邻的超像素点中，最终得到含 有Ν个超像素点的超像素图像Β。4.根据权利要求3所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用 改进的Grabcut算法对所述超像素图像进行分割的具体步骤如下： 超像素点的初始化： 将所述超像素图像B中的所述超像素点Zi所包含像素点的颜色均值21作为所述超像素 点颜色值，通过人工交互框选出包含完整目标的矩形区域，将超像素点Zdiil，…，N) 初始化为两类，矩形框内的超像素点作为可能的前景超像素集合，用Tu表示，同时标记 Ql = 1，框外的超像素点作为背景超像素集合，用Tb表示，标记αι = 0; 利用k-mean算法分别对所述Τυ、ΤΒ中的所述超像素聚类为Κ类，根据聚类结果分别计算 前景和背景高斯混合模型中各高斯分量的均值和协方差 迭代最小化： 计算所述超像素点Zi属于第k(l，…，K)个所述高斯分量的概率gk(Zl |yk，Xk)，将其归类 到具有最大概率值所在的高斯分量中， 所述概率gk(Zl|yk，2k)的定义如下：依据各所述高斯分量中的超像素点计算所述前景和背景高斯混合模型的参数9(yk， ，将每个超像素点的颜色值21代入所述前景和背景高斯混合模型中，依据下式计算 所述超像素点属于前景、背景的惩罚值〇 1(21|〇1 = 1，1(，0)、〇1(21|(11 = 〇，1(，0)，并分别将其作 为边{Zi，T}和边{Zi，S}的权值，对给定所述超像素点Zi，计算其与八邻域像素点1所构成的n-link边的权值：V ./. 其中，dist( ·)表示为两超像素点的中心距离，γ为参数变量，u · I I表示超像素点间 的颜色差异，V是n-link边的权值，lu为所述超像素AZi所包含的像素点对颜色均值Zl的标 准差，为超像素点&所包含像素点的梯度均值经归一化处理的结果； 构建S-T网络图和相应的能量函数：其中，区域项Er对应网络图t-1 ink边的权值，而光滑项Eb对应网络图η-1 ink边的权值，C 为网络图的一条切割线，容量为|C| ; 基于最小割准则对所述图像B进行分割，并更新前景和背景高斯混合模型中的超像素 点和超像素点标记ai; 重复以上所述迭代最小化的步骤，直至满足如下条件： η^δ， 其中，S为设定的最大迭代次数，η为当前迭代次数； 输出所述视点图像分割结果。5. 根据权利要求4所述的一种基于图割的多视点视频分割方法，其特征在于，所述基于 视差匹配分割其他视点图像的具体步骤如下： 利用开闭运算对所述视点图像分割结果进行形态学处理，得到形态学处理后视点图 像； 利用边界追踪算法对所述形态学处理后视点图像进行提取，得到目标轮廓； 利用局部匹配算法将所述目标轮廓匹配到其他视点图像中，得到目标图像； 利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接，得到连续的轮廓； 对所述连续的轮廓内部区域进行填充，通过二值掩膜获得视点图像目标。6. 根据权利要求5所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用 边界追踪算法对所述形态学处理后视点图像进行提取的具体步骤如下： 二值掩膜图像的获取： 将处理后的前景目标像素点添加标记1，背景像素点添加标记0，得到前景目标的二值 掩膜图像； 目标轮廓的提取： 设起始点bo为所述二值掩膜图像左上角标记为1的像素点，co为与bo相邻的左侧像素 占. 从CO开始顺时针方向搜索bo的八邻域像素点，bi表示遇到的第一个标记为1的邻域像素 点，C1为序列中bi之前的像素点，并令b = bi，c = ci; 从c开始按顺时针方向搜索b的八邻域像素点，依次为m，n2，···，n8,直到标记为1的第一 个邻域像素点nk，并令b = nk，c = nk-i; 重复上一步骤，直到b = b〇且找到的下一个边界点为h，得到初步的目标轮廓； 目标轮廓的获取： 将所述初步的目标轮廓细化为除首尾两个边界像素点外，其他边界点的八邻域中有且 只有两个边界像素点，得到目标轮廓。7. 根据权利要求6所述的一种基于图割的多视点视频分割方法，其特征在于，所述利用 局部匹配算法将所述目标轮廓匹配到其他视点图像中的具体步骤如下： 采用Census变换和MAD相结合的方式定义窗匹配代价函数C(x，y，d): C(x，y，d)=a · CT(x，y，d) + (l_a) · Cc(x，y，d)， 其中，CT( ·)和CC( ·)分别为基于纹理和基于颜色的窗匹配代价，a为二者的权重系数； 通过Census变换将窗内各像素与中心像素点进行比较，输出结果为一个0/1比特串，设 匹配窗W的大小为（2M+1)X(2N+1)，窗内中心像素点坐标为(xP，yP)，对应像素值为I (x P，yP)，G(Xq，ΧΡ)代表窗内除中心点外各像素X qeΝ(ΧΡ)与中心点的颜色差异，其均值用Μ (ΧΡ)表示，视差d的取值范围为D=[d min，dmax]，比较G(Xq，XP)与Μ(Χ Ρ)，若结果大于0,则相应 位置添加标记1，否则添加标记0,对于视点1图像h中以XPS中心的匹配窗，其Census变换可 表示为：通过Hamming距离计算所述视点1图像Ιι与视点2图像12中两匹配窗经过Census变换后 输出的比特串之间的差异程度H(XP，d)，并利用指数形式对其归一化处理，得到区域纹理的 匹配代价CT(x P，yP，d):H(XP，d)=Ham min g(CTnl(XP)，CTn2(XP-d))， 当以所述视点1图像Ii为参考图像，所述视点2图像12为目标图像时，基于区域颜色的匹 配代价可描述为：其中，γ census和γ mad分别为Hamming距离和MAD的归一化常数。8. 根据权利要求7所述的一种基于图割的多视点视频分割方法，其特征在于， 所述利用先膨胀后细化的方法将所述目标图像间断的边界光滑连接的具体步骤如下： 步骤a)，将所述目标图像间断的边界进行膨胀处理，得到膨胀后的图像； 步骤b)，依次遍历所述膨胀后的图像中每个3X3区域，区域中各点标记名称?1，？2，…， p9,其中P1位于区域中心，若?1为前景点，即P1标记为1，且同时满足以下（1)、（2)、⑶三个条 件，则将P!标记为可删除点， (1) 设N(P1)表示像素点P1的八邻域像素点是前景点的个数，且满足2<N(P1K6， (2) 设Α(Ρι)表不按P2，P3,…，P9的排列顺序时，出现01模式的个数，且A(Pi) = 1， (3)像素点P6、P8中至少有一个为背景点或像素点P2、P4都为背景点，即：P2XP6XP8 = 0且 P4Xp6Xp8 = 〇； 步骤C)，若所述步骤b)中存在可删除点，则令该点为背景点，即将该点标记为0; 步骤d)，重新遍历图像中的每个3X3区域，若P1为前景点且同时满足以上（1)、（2)和如 下(4)三个条件，则将P1标记为可删除点， ⑷像素点P2、P4中至少有一个为背景点或像素点P6、P8者卩为背景点，即：P2Xp4Xp6 = 0且 P2Xp4Xp8 = 0； 步骤e)，若所述步骤d)中存在可删除点，则令该点为背景点； 步骤f)，迭代所述步骤b)~步骤e)直到没有可删除点为止； 步骤g)，输出细化结果。
【文档编号】G06T7/00GK105957078SQ201610270165
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】朱仲杰, 戴庆焰, 王玉儿
【申请人】浙江万里学院