图5a、5b、5c是使用与不使用置信补偿情况下的实验结果对比，可以看出，在使用 置信补偿后，物体边缘错误的匹配像素变少了。表2和图6 &、613、6(：、6(1给出了各种算法的优 化结果，可以看出在精度上，本专利的方法与方法[12]接近，优于方法[10]。同时，我们测试 了几种算法的处理速度，测试仪器及编程语言通权利要求1，方法[12]需要10.7秒，方法 [10 ]用了 956ms，而本发明所采用的方法仅仅需要18.7ms。图6a、6b、6c为本发明视差优化方 法与[10]和[12]中方法的实验结果对比。本发明提出的方法运用于道路交通图像上的结果 如图 7&、713、7(3、83、813、8(3、93、％、9(3、1(^、1013、10(3、所示。图73、713、7(3将本发明的算法运用 与交通图像上的实验结果，（a)为左视图，（b)为右视图，（c)为用本发明算法得到的视差图；
[0159]综上，本文提出的视差优化算法在提高精度的同时具有较低的计算复杂度。同时， 本文提出的视差优化因对每一行/列独立运算，所以可以通过并行处理加快算法的运行速 度，从而满足实时性的需求。表2
[0160]表2各种视差优化算法的精度比较结果，测试图像来自middlebury网站，本实验所 选用的测试图像的曝光度指数为1，亮度指数为2。
[0161] 表2
[0162]
【主权项】
1. 一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于一种改进 的光学仿射不变双目立体匹配代价与视差优化方法具体是按照W下步骤进行的： 步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头 摄取的是右视图，假设输入图像的大小为mXn; W前行方向为参照，左侧设置左摄像头，右 侧设置右摄像头； 步骤二、对步骤一中的左视图和右视图进行改进的Census变换； 步骤=、计算步骤一中的左视图和右视图的相对梯度； 步骤四、根据步骤二和步骤=的结果计算双目立体匹配代价； 步骤五、对立体匹配代价进行叠加； 步骤六、建立视差置信度； 步骤屯、对图像的每一行，从巧IjN视差置信度传递； 步骤八、对图像的每一行，从N到1视差置信度传递； 步骤九、对图像的每一列，从巧IjM视差置信度传递； 步骤十、对图像的每一列，从M到1视差置信度传递； 步骤十一、得到优化后的视差图化。2. 根据权利要求1所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换;具体过 程为： (1) 设置光学模型：其中，mb和ms是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率， a代表漫射光； (2) 传统的Census变换定义为中屯、像素 P与其邻域内的像素 qEN(P)的比较，然而改进 的Census变换是基于相对梯度的：其中，而(P)代表Wp为中屯、的3X3区域内相对梯度RG(x，y)的平均值，如图ll，N(p) 代表像素 P的一个邻域，q为q(x，y)，p为p(x，y) ;T(p，q)为Census变换，RG(q)为像素 q的相对 梯度，相对梯度运算公式为： RG(x,y)=G(x,y)/(l+Gmax(x,y)) 其中，RG(x，y)是像素 p(x，y)的相对梯度，Gmax(x，y)是W像素 p(x，y)为中屯、的3X3区域 内梯度G(x，y)的最大值； Gmax(x,y) =max( | G(x+m,y+n) |),-l<m<l,-l<n<l 式中，m，n是输入图像的大小。3. 根据权利要求2所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤四中根据步骤二和步骤=的结果计算双目立体匹配代价;具体过程 为： (3) 将(2)的结果T(P，q)串接形成位串CO) = \,, (/)，:其中0代表串接操作， 在执行(4)匹配代价计算之前，左和右视图各执行一次W上步骤的操作，然后执行(4); (4) 最后Census变换代价CcT(p，d)通过左视图中像素 P和右视图中像素 p-d的位串的汉 明距离给出；其中，Cl和Cr分别代表经过步骤（1-3)变换后的左右图像，d代表某一个视差值;CcT(p，d) 为Census变换代价； (5) 然后，结合步骤（1-4)，最终的双目立体匹配代价如下： CRGCT(P,d) =P(CcT(P,d)/LcT,入 CT)+P(Crg(P,d),入巧） 其中，CRGCT(p，d)为相对梯度Census变换的代价，P为自定义的非线性函数，它的参数有 两个为P(C，A) ,Act为Census变换的参数，Arg为相对梯度的参数，Lct代表位串的长度体发明 中Lct = 9 )，Crg是像素 P和p-d的左视图RGi (P)和右视图RGr (p-d)相对梯度图像的绝对差值； Crg(p,d)= |RGi(p)-RGr(p-d) I。4. 根据权利要求3所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤五中对立体匹配代价进行叠加;具体过程为： 对立体匹配代价进行叠加，得到大小为mXn的初始视差图；-1 <m< 1，-1 <n< 1。5. 根据权利要求4所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤六中建立视差置信度;具体过程为： 采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义 为： 二}1，獻(/;促吨靠像炭 W仪成(的是不叫靠像崇 式中，Dr(P)为初始视差图，B(P)是像素置信度。6. 根据权利要求5所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤屯中从1到N视差置信度传递;具体过程为： 初始化，如果DHp}不可信，同时^^(少）若0,将(吸心的+嫁)礎(f)的值赋给 居/',i ( ，将扣(9)的值赋给化。）； 否则，将B(P)的值赋给公化(P)的值赋给化(P); 没/f代表从1到N的累加视差置信度，Wp,q(I)是相邻像素 P和q的权值，其中，CE {R，G，B}，S为常量，用于校准相邻像素的相似度;Ic(P)为RGB图像I中像素 P的C 通道亮度值，Ie(q)为RG姻像I中像素 q的C通道亮度值， Df (q)为像素 q的最终经过优化后的视差图，Df(P)为像素 P的最终经过优化后的视差图； 为置信度补偿量，上标Ir代表从1到N视差传递过程，下标P代表像素 P的补偿量； '0，max 14(p) -/。咕)|含 max I /。(功-I 护二\ C C 的Il -佩其它 式中，Ic(Pi)为RGB图像I中像素 Pi的C通道亮度值；Ic(p2)为RGB图像I中像素 P2的C通道 亮度值;Wp,q(I)是相邻像素 P和q的权值，为置信补偿。7. 根据权利要求6所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤八中从N到1视差置信度传递;具体过程为： 初始化，对于所有的pe {第i行}，i为正整数，将公的值赋给公; 如刺f(P} = Df(q}，将及(巧+ (职p，g (I)+终)％ (g):的值赋给公;^ (巧，将Df(q} 的值赋给化(q); 否则，Df(P)別f(q)，如果％(巧<(W口.《(〇+拷)％(<?)，则的(巧=Wp，心)的佔)， Df(P)=Df(Q); 度;^代表从N到1视差图像的累加视差置信度;Df(q)为最终经过优化后的视差图，Df(P) 为像素 P的最终经过优化后的视差图； 0,max I I^：{p) - 4ip,) |> max J l^：{p) - 4(p^) 奴二 C C P r,4(/)，其它 式中，Ic(Pi)为RGB图像I中像素 Pi的C通道亮度值；Up2)为RGB图像I中像素 P2的C通道 亮度值;Wp,q(I)是相邻像素 P和q的权值，只/'，/为置信补偿，Ie(P)为RGB图像I中像素 P的C通道 亮度值。8. 根据权利要求7所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤九中从1到M视差置信度传递;具体过程为： 当像素 P的视差不可靠，且公(戶）丢0时，现1 否则：公/,'（/，）=公(户）Df(P)=Dr(P) 式中，公^代表从巧齡视差图像的累加视差置信度；为置信补偿。9. 根据权利要求8所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述步骤十中从M到1视差置信度传递;具体过程为： 首先初始化每一行像素的置信度公;;（/?)二公/;"(/?) 如果 Df (P) =Df(Q)则 的(P)二骑(P)+ (WpJI) + 柳的{q} Df(P) =Df(Q) 否则:如果聋赋<厮0+若城短)则 马W二巧每(々磅(苗，Df(P)二Df(q) 式中，度j代表从M到1视差图像的累加视差置信度。10.根据权利要求9所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法， 其特征在于:所述图像I转换到服I颜色空间，再计算每个通道C e化，S，I}的权值：式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。
【专利摘要】一种改进的光学仿射不变双目立体匹配代价与视差优化方法，本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题。具体过程为：一、左右两个摄像头分别自动摄取两幅图像；二、对左视图和右视图进行改进的Census变换；三、计算相对梯度；四、计算双目立体匹配代价；五、对立体匹配代价进行叠加；六、建立视差置信度；七、从1到N视差置信度传递；八、从N到1视差置信度传递；九、对图像的每一列，从1到M视差置信度传递；十、从M到1视差置信度传递；十一、得到Df。本发明应用于图像处理领域。
【IPC分类】G06T7/00
【公开号】CN105654493
【申请号】
【发明人】王进祥, 石金进, 张垚, 付方发, 陈少娜
【申请人】哈尔滨工业大学
【公开日】2016年6月8日
【申请日】2015年12月30日