一种基于mean shift立体匹配的视图合成方法
【技术领域】
[0001] 本发明涉及一种视图合成方法，尤其涉及一种基于meanshift立体匹配的视图合 成方法，属于图片处理领域。
【背景技术】
[0002] 随着数字广播电视技术和三维电影市场的迅猛发展，传统的二维图像已经远远 不能满足人们对视觉感知的切身要求，所以三维电视（3DTV)已经成为人们追求视觉立体 感和真实感的"最佳宠物"。3DTV和FTV是多视角视图（MVI)最重要的应用领域，在3DTV 和FTV中，虚拟视点合成技术是尤为重要的核心技术。如今，虚拟视点图像绘制技术已经 成为数字图像和计算机视觉领域的一个研究热点。
[0003] 现有技术中，一些学者提出了几种虚拟视点图像绘制方法，但都存在一定缺陷： 在YoonKJ和KweonIS.发表的Locallyadaptivesupport-weightapproachfor visualcorrespondencesearch.(IEEETransactionsonPatternAnalysisandMachine Intelligence. 2006) -文中提出根据特定窗口中像素点与待匹配点之间的几何和光度关 系来调整每个像素点的权值，该方法对变窗口的匹配结果有着良好的抗干扰性即鲁棒性， 但是此方法的缺点是计算量太大，而且所用权值函数不适用于灰度图的匹配，缺少广泛使 用度。KanadeT和OkutomiM.提出通过改变窗口大小和形状的方法，使得每个像素点能够 得到最佳的匹配窗口值，即计算匹配代价函数使其值达到最小时的窗口值为最佳，而该方 法对于深度不连续的区域的像素点效果不佳。
【发明内容】
[0004] 本发明所要解决的技术问题是针对【背景技术】的不足提供了一种基于meanshift 立体匹配的视图合成方法。
[0005] 本发明为解决上述技术问题采用以下技术方案
[0006] -种基于meanshift立体匹配的视图合成方法，具体包括如下步骤：
[0007] 步骤1，采用meanshift方法对原始图像进行区域分割；
[0008] 步骤2,采用基于自适应权值的多窗口立体匹配法来获得立体图像对应的视差 图；
[0009] 步骤3,对步骤2所得视差图进行平滑操作；
[0010] 步骤4,对平滑操作后视差图进行正向视图插值和空洞噪声处理，进而完成图像绘 制。
[0011] 作为本发明一种基于meanshift立体匹配的视图合成方法的进一步优选方案，所 述步骤1具体过程如下：
[0012] 步骤1. 1，将图像转换为与图像相匹配的色度空间；
[0013] 步骤1. 2,利用meanshift进行平滑操作进而获取各像素的收敛点；
[0014] 步骤1. 3,将各像素的收敛点按照预先设定的条件规则进行合并；
[0015] 作为本发明一种基于meanshift立体匹配的视图合成方法的进一步优选方案，所 述步骤2具体过程如下：
[0016] 步骤2. 1，在参考图像中某个像素点构造一个支撑窗口；
[0017] 步骤2. 2,把该支撑窗口沿着视差范围平行移动，以相似性测度函数来计算窗口间 的相似性；具体计算如下：
[0021] 其中，CSAD(x，y)为求取当前像素点和领域像素点r、g、b三通道颜色差异的绝对值 之和，1。00为当前像素点彩色值，x为当前点坐标，IJy)为当前像素点周围领域彩色值，y 为领域坐标，和分别代表图像横向和纵向梯度，w是介于0和1之间的权值，CeRAD(x，y) 为求取当前点和其领域像素点在水平方向和垂直方向r、g、b三通道颜色差异的绝对值之 和，C(x,y)为相似性测度函数。
[0022] 作为本发明一种基于meanshift立体匹配的视图合成方法的进一步优选方案，所 述步骤4具体过程如下：
[0023] 步骤4. 1，获取每个像素的位置信息和颜色信息；
[0024] 步骤4. 2,再通过该视图的视差图确定虚拟视点位置关系，确定位置变换关系，用 对应的原视的颜色信息对虚拟视图进行颜色填充，正向视图插值公式如下：
[0025] Iir(X:,Y) =IIR(XR+(l-a)*dRL,Y) =IR(XR,Y)
[0026] 其中，XR+(l_a)*dRt为虚拟视点位置与右视图位置关系，Iir(XdY)为由右视图变 换到中间虚拟视点像素坐标为（U)处的像素值，cT为左右视图的视差值，IR(XR，Y)为右 视图像素坐标为（XR，Y)处的像素值，a根据虚拟视点位置而确定，范围在0~1之间；
[0027] 空洞噪声处理如下：
[0028] I^X^Y) =co1Iil(Xi,Y) + (1-co1)Iir(Xi,Y)
[0029] IIL (X〇Y) =IIL (XL+ (1-a) *dIL,Y) =IL (XL,Y)
[0030] o1表示虚拟视点位置与左右视图位置比例关系，Xj(l_a)*#为虚拟视点位置 与左视图位置关系，1"&，幻为由左视图变换到中间虚拟视点像素坐标为（tY)处的像素 值，，为左右视图的视差值，IJ\，Y)为左视图像素坐标为（\，Y)处的像素值，IJtY)为 最终虚拟视图在像素坐标为（U)处的像素值。
[0031] 作为本发明一种基于meanshift立体匹配的视图合成方法的进一步优选方案，所 述步骤1. 3中的条件规则是指空间域小于hs，颜色域小于
[0032] 其中，hs是空间带宽参数，k是颜色带宽参数。
[0033] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0034] 1、本发明提供的视图合成方法，对于虚拟视图绘制有着良好的效果，绘制视图质 量相对较高。
[0035] 2、本发明方法合成的视图具有良好的图像效果，轮廓清晰分明，具有很好的立体 效果。
【附图说明】
[0036] 图1是本发明的方法流程图；
[0037] 图1(a)是本发明单窗口视差图；
[0038] 图1 (b)是本发明多窗口视差图；
[0039] 图2(a)是基于自适应权值的多窗口立体匹配法和基于meanshift区域分割的权 值多窗口立体匹配法对比效果图的左视图；
[0040] 图2(b)是基于自适应权值的多窗口立体匹配法和基于meanshift区域分割的权 值多窗口立体匹配法对比效果图的标准视图；
[0041] 图2(c)是基于meanshift区域分割的权值多窗口立体匹配法得到的视差图；
[0042] 图2(d)是基于自适应权值的多窗口立体匹配法得到的视差图；
[0043] 图3 (a)是本发明算法得到的左视图；
[0044] 图3(b)是本发明算法得到的中间虚拟视图；
[0045] 图3(c)是本发明算法得到的右视图。
【具体实施方式】
[0046] 以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体 实施方式仅用于说明本发明而不用于限制本发明的范围。
[0047] 如图1所示，一种基于meanshift立体匹配的视图合成方法，具体包括如下步骤：
[0048] 步骤1，采用meanshift方法对原始图像进行区域分割；
[0049] 步骤1. 1，将图像转换为与图像相匹配的色度空间；
[0050] 步骤1. 2,利用meanshift进行平滑操作进而获取各像素的收敛点；
[0051] 步骤1. 3,将各像素的收敛点按照预先设定的条件规则进行合并；
[0052] 步骤2,采用基于自适应权值的多窗口立体匹配法来获得立体图像对应的视差 图；
[0053] 步骤2. 1，在参考图像中某个像素点构造一个支撑窗口；
[0054] 步骤2. 2,把该支撑窗口沿着视差范围平行移动，以相似性测度函数来计算窗口间 的相似性；具体计算如下：
[0058] 其中，CSAD(x，y)为求取当前像素点和领域像素点r、g、b三通道颜色差异的绝对值 之和，Ijx)为当前像素点彩色值，x为当前点坐标，Ijy)为当前点周围领域彩色值，y为领 域坐标，分别代表图像横向和纵向梯度，w是介于0和1之间的权值，C_(x，y)为 求取当前点和其领域像素点在水平方向和垂直方向r、g、b三通道颜色差异的绝对值之和，C(x，y)为相似性测度函数。
[0059] 步骤3,对步骤2所得视差图进行平滑操作；
[0060] 步骤4,对平滑操作后视差图进行正向视图插值和空洞噪声处理，进而完成图像绘 制；
[0061] 步骤4. 1，获取每个像素的位置信息和颜色信息；
[0062] 步骤4. 2,再通过该视图的视差图确定虚拟视点位置关系，确定位置变换关系，用 对应的原视的颜色信息对虚拟视图进行颜色填充，正向视图插值公式如下：
[0063] Iir(X:,Y) =IIR(XR+(l-a)*dRL,Y) =IR(XR,Y)
[0064] 其中，XR+(l_a)*dRt为虚拟视点位置与右视图位置关系，Iir(XdY)为由右视图变 换到中间虚拟视点像素坐标为（U)处的像素值，cT为左右视图的视差值，IR(XR，Y)为右 视图像素坐标为（XR，Y)处的像素值，a根据虚拟视点位置而确定，范围在0~1之间；空 洞噪声处理如下：
[0065] I^X^Y) =co1Iil(Xi,Y) + (1-co1)Iir(Xi,Y)
[0066] IIL (X〇Y) =IIL (XL+ (1-a) *dIL,Y) =IL (XL,Y)
[0067] o1表示虚拟视点位置与左右视图位置比例关系，Xj(l_a)*#为虚拟视点位置 与左视图位置关系，1"&，幻为由左视图变换到中间虚拟视点像素坐标为（tY)处的像素 值，，为左右视图的视差值，IJ\，Y)为左视图像素坐标为（\，Y)处的像素值，IJtY)为 最终虚拟视图在像素坐标为（U)处的像素值。
[0068] 具体如下：步骤1，采用meanshift方法对图像进行区域分割：
[0069] -幅图由一个二维空间位置坐标和M维颜色向量组成，当M= 1时该图像为灰度 图，当M= 3时该图象为RGB图，当M>3时该图象为多维联合图像。图像的每个像素点由颜 色信息和空间位置信息决定，那么meanshift滤波器的特征向量定义为X= [xs，x1!1。设 定图像中某个像素空间位置为X，以x为圆心，以h为半径，落在高维球内的点位Xl定义两 个模式规则：
[0070] 1.x像素点的颜色与Xl像素点颜色越相近，我们定义概率密度越高；
[0071] 2.离x的位置越近的像素点Xl，定义概率密度越高。
[0072] 前述的概率密度函数为：
[0073]
[0074] 其中：Kf代表空间位置信息，离中心像素点越远，其值越大； 弋 Vi、J 表颜色信息，颜色越相近，其值越大；Xs是空间位置坐标，f是图像颜色特征，是两个 变量的核函数；hs是空间带宽参数，控制区域sh的大小，是中心空间距离的阈值参数；h^是 颜色带宽参数，是类像素值间距参数，是对空间域^的又一次选择；C是归一化常数；另设 定一个类内像素个数参数M，当单个类内像素值小于该值时合并为一类，相当于类之间的一 次选择。
[0075] MeanShift算法中引入高斯核函数，应用范围是区域Sh的大小，而且图像分割一 般用高斯核函数。那么MeanShift向量表达式为：
[0076]
[0077]
[0078] 令xjPz;(i= 1，2, 3. . .n)分别表示d维原始图像点和收敛点，Q为图像分割后