一种基于超像素分割的视差修正方法与流程

本发明涉及一种视差修正方法，特别是涉及一种适用于基于超像素分割的视差修正方法。

背景技术：

目前大部分立体匹配算法都包括四个步骤：(1)代价计算，(2)代价聚合，(3)视差计算和优化，(4)视差求精。总体来说，立体匹配算法可以分为两类：局部立体匹配算法和全局立体匹配算法。局部立体匹配算法利用一个窗口内的颜色或灰度信息来确定每个点的视差值。而全局立体匹配算法基于平滑性假设，并且利用能量最小化技术同时确定所有点的视差值。

全局立体匹配算法利用图像的平滑项和数据项两项约束项求解整体能量的最小值。能够很好的解决低纹理区域的误匹配现象。全局立体匹配算法的代表有图割法、动态规划算法、置信度传播算法等。但是算法运算量大，不适合实时系统。

局部立体匹配算法由于每个点仅仅依赖局部信息，通过计算匹配窗口内的总匹配代价，利用WTA策略找到最小的匹配代价，来确定视差。若采用固定的小尺寸窗口可以保留纹理和边缘信息，但视差图噪声比较大；而采用固定的大尺寸窗口可对局部的匹配进行平滑，在深度不连续区域产生前景膨胀效应，视差图模糊，边缘的效果很差。局部立体匹配算法的代表有像素差的绝对值(SAD)、自适应窗口算法、自适应权重算法等。虽然局部立体匹配算法精度不如全局立体匹配算法，但算法运算量小，适合实时系统。

传统的局部视差修正方法：自适应权重算法利用局部自适应支持权重计算该中心像素和属于同一区域相邻的像素的概率。由于其复杂度取决于匹配窗口的大小，与窗口的大小成平方关系，自适应窗口速度慢，不能满足实时性的要求；固定窗口的立体匹配算法虽然运算速度快，但在低纹理区域处理效果不好，容易出现前景膨胀效应。

目前，局部立体匹配算法的实时性相对于全局立体匹配算法要高。在局部立体匹配算法中，固定窗口的立体匹配算法虽然算法复杂度低，但存在前景膨胀，深度不连续区域视差效果差的问题，而自适应窗口和自适应权重的立体匹配算法虽然大大减少了深度不连续区域的误匹配，但是复杂度高，不适合实时性要求高的场合。

技术实现要素：

本发明要解决的技术问题是提供一种基于超像素分割的视差修正方法，该方法针对局部立体算法前景膨胀的问题，基于超像素分割，而不基于固定的窗口，根据相邻超像素块越相似的区域的视差越接近，来修正错误匹配的区域。

本发明采用的技术方案如下：一种基于超像素分割的视差修正方法，其特征在于，针对校正后的双目相机拍摄的左右图像，根据像素亮度值，对左右图像分别进行超像素块分割；针对无纹理区域误匹配的问题，对平坦区域超像素块标记不稳定超像素块；根据相邻超像素块越相近的区域的视差越接近，来修正不稳定超像素块的视差。

针对校正后的双目相机拍摄的左右图像，根据像素亮度值，对左右图像分别进行SLIC(simple linear iterative cluster)超像素块分割。图像被分为若干个超像素块，且每个超像素块内的像素颜色相似，距离相近。校正是对双目相机输出的图像校正，双目相机参数是通过双目相机标定获得，这个相机参数主要是双目相机镜头和左右相机的相对位置。这个参数标定完成后，是不变的，所以对所有校正所用的参数都不会改变。

具体方法步骤为：

S1、针对校正后的双目相机拍摄的左右图像，根据像素亮度值，对左右图像分别进行超像素块分割；

S2、对超像素块分割后的输入图像的块分别计算梯度，将梯度和亮度作为计算视差的匹配代价；

S3、以超像素块区域为匹配窗口，将各个像素点的匹配代价聚合作为聚合代价；以左图像为基准，在右图像中按照胜者为王(WTA)的策略寻找最匹配的点，得到左视差图；以右图为基准，在左图像中按照胜者为王(WTA)的策略寻找最匹配的点，得到右视差图；

在将各个像素点的匹配代价聚合作为聚合代价并寻找最匹配的点的同时，计算超像素块的匹配可信度，如果可信度小于设定可信度阈值，则认为该超像素块稳定，视差计算可靠，否则认为该超像素块不稳定；标记出不稳定超像素块；

S4、基于双目视觉的一致性约束，对得到的左右视差图做左右一致性校验(LRC)，即在左视差图和右视差图中的相同坐标位置视差相同，对遮挡点视差做遮挡点标记，得到初始视差图；

S5、对于任一遮挡点所在的超像素块和不稳定超像素块，找到所有与之相邻的超像素块；如果相邻的超像素块亮度相似度大于设定亮度相似度阈值，则认为它们属于同一个目标，接受这个相邻超像素块，否则不接受这个相邻超像素块；

S6、将遮挡点的视差修正为所在超像素块与其相邻且亮度相似度大于设定亮度相似度阈值的超像素块的视差的中值。

S2中，所述梯度包括x方向的梯度和y方向上的梯度x方向的梯度和y方向的梯度的和即为梯度。

所述S5中，计算当前超像素块及其相邻超像素块的归一化直方图，通过比较当前超像素块与相邻超像素块的直方图距离作为亮度相似度的度量。

所述可信度阈值为0.9。

与现有技术相比，本发明的有益效果是：该方法针对局部立体算法前景膨胀的问题，基于超像素分割，根据相邻超像素块越相似的区域的视差越接近，来修正错误匹配的区域，生成视差图速度快，精度高。

附图说明

图1为本发明其中一实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

具体实施例1

如图1所示，一种基于超像素分割的视差修正方法，分为初始视差计算，视差修正两个阶段。

初始视差计算包含以下四个步骤：

S1、针对校正后的双目相机拍摄的左右图像，根据像素亮度值，对左右图像分别进行超像素块分割；

S2、对超像素块分割后的输入图像分别计算梯度，将梯度和亮度作为计算

C(x,y,d)＝(1-ω)*C_SAD(x,y,d)+ω*C_GRAD(x,y,d).........................(3)

视差的匹配代价：

其中，N(x,y)是以匹配点(x,y)所属的超像素块区域。表示图像梯度的水平分量，表示图像梯度的垂直分量，I₁(i,j)是左图中(i,j)坐标处的亮度值，I₂(i+d,j)是在右图中(i+d,j)坐标处的亮度值,ω表示权重，为大于等0小于等于1之间的实数,d为视差，C_SAD(x,y,d)是亮度匹配代价，C_GRAD(x,y,d)为梯度匹配代价，C(x,y,d)为坐标(x,y)处视差为d时的聚合代价；

S3、以超像素块区域为匹配窗口，将各个像素点的匹配代价聚合作为聚合代价；以左图像为基准，在右图像中按照胜者为王(WTA)的策略寻找最匹配的点，得到左视差图；以右图为基准，在左图像中按照胜者为王(WTA)的策略寻找最匹配的点，得到右视差图；

在将各个像素点的匹配代价聚合作为聚合代价并寻找最匹配的点的同时，计算超像素块的匹配可信度，如果可信度小于设定可信度阈值，则认为该超像素块稳定，视差计算可靠，否则认为该超像素块不稳定；标记出不稳定超像素块；计算可信度：

Confidence＝SAD_min/SAD_min2....................................(4)

其中Confidence表示可信度，SAD_min表示最小的聚合代价，SAD_min2表示次最小的聚合代价。

S4、基于双目视觉的一致性约束，对得到的左右视差图做左右一致性校验(LRC)，即在左视差图和右视差图中的相同坐标位置视差相同，对遮挡点视差做遮挡点标记，得到初始视差图；

视差修正阶段包含以下步骤：

S5、对于任一遮挡点所在的超像素块和不稳定超像素块，找到所有与之相邻的超像素块；如果相邻的超像素块亮度相似度大于设定亮度相似度阈值，则认为它们属于同一个目标，接受这个相邻超像素块，否则不接受这个相邻超像素块；

S6、将遮挡点的视差修正为所在超像素块与其相邻且亮度相似度大于设定亮度相似度阈值的超像素块的视差的中值。

在本具体实施例中，根据像素亮度值，对左右图像分别进行SLIC(simple linear iterative cluster)超像素块分割。

具体实施例2

在具体实施例1的基础上，所述S5中，计算当前超像素块及其相邻超像素块的归一化直方图，通过比较当前超像素块与相邻超像素块的直方图距离作为亮度相似度的度量。

具体实施3

在具体实施例1或2的基础上，所述可信度阈值为0.9。