一种改进的光学仿射不变双目立体匹配代价与视差优化方法
【技术领域】
[0001 ]本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。
【背景技术】
[0002] 双目立体视觉广泛运用于环境三维重建，逆向工程，机器人障碍物检测等领域，双 目视觉系统模仿人类视觉的立体感知过程，从两个视点观察同一景物，以获取不同视角下 的感知图像，机器视觉领域可以通过三角测量原理计算左右图像对应像素间的位置偏差， 以获取景物的三维信息。双目立体匹配是计算机视觉领域最有挑战性的任务之一。由于双 目立体匹配算法的基本工作原理是在左右图像中寻找匹配(对应）的像素，然而，由于受光 源变化，非朗伯表面和设备特性差异等因素的影响，容易造成匹配像素光学上的扭曲（即颜 色上的差异）。近年来，虽然国际上已经提出了多种算法，如ANCC[l](Y.Heo，K.L ee，and S·Lee，"Robust Stereo Matching Using Adaptive Normalized Cross-correlation，'， IEEE Trans·Patt·Anal.Mach·Intel1·，vol·33，pp·807-822，2011·)，MDCC[2](S·Kim， B. Ham ,B. Kim , and K.Sohn，"Maha-lanobis Distance Cross-Correlation for 11 lumi nation-In variant Stereo Matching，'，IEEE Trans . Cirtui ts Syst. Video Techn〇l.，v〇1.24，n〇. 11,2014.)等，这种方法虽然能获得较高的匹配精度，但是通常很难 得到实时性能，文献[3](X.Zhou and P.Boulanger，"Radiometric Invariant Stereo Matching Based on Relative Gradients，'，19th IEEE Int. Conf. Image Process ., pp.2989-2992,2012.)提出了一种简单的双目立体匹配代价计算方法，然而当左右图像存 在较大光学扭曲情况下，精度受到很大影响。
[0003]另外，由于受各种因素的影响，如遮挡，光学扭曲等，双目立体匹配算法得到的初 始视差图往往要经过优化算法提高精度。近年来，国际上也提出了多种视差优化算法，最常 见的是平面拟合[6](S. S inha，D · Schar stein，and R.Szeliski，"Efficient Hi gh_ Resolution Stereo Matching using Local Plane Sweeps，'，IEEE Conf.Comput.Vis.Patt.Recognit.，pp.1582-1589，2014.)，[7](M.Bleyer，C.Rother， P.Kohli,D.Scharstein,and S·Sinha，"0bject Stereo-joint Stereo Matching and Object Segmenta_tion，"IEEE Conf .Comput .Vis.Patt.Recognit ·，2011 ·)方法，这种方法 虽然能得到很高的精度，但是算法复杂度高，另外，文献[8]提出了基于最小生成树(MST)的 视差优化算法，文献[l0](Q.Yang，"Local Smoothness Enforced Cost Volume Regularization for FastStereo Correspondence，'，IEEE Signal Process . Lett., vol. 22，no. 9，pp. 1429-1433，2015)提出了一种双边滤波的视差优化算法等。虽然基于MST 树的方法在精度上优于当前的许多算法，但是其计算量仍然较大。
【发明内容】
[0004]本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度 受到影响，算法复杂度高，计算量大的问题，而提出一种改进的光学仿射不变双目立体匹配 代价与视差优化方法。
[0005] 上述的发明目的是通过以下技术方案实现的：
[0006] 步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄 像头摄取的是右视图，假设输入图像的大小为mXn;以前行方向为参照，左侧设置左摄像 头，右侧设置右摄像头；
[0007] 步骤二、对步骤一中的左视图和右视图进行改进的Census变换；
[0008] 步骤三、计算步骤一中的左视图和右视图的相对梯度；
[0009] 步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；
[0010] 步骤五、对立体匹配代价进行叠加；
[0011] 步骤六、建立视差置信度；
[0012] 步骤七、对图像的每一行，从(左）1到(右)N视差置信度传递；
[0013] 步骤八、对图像的每一行，从(右)N到(左）1视差置信度传递；
[0014] 步骤九、对图像的每一列，（从上到下)从1到Μ视差置信度传递；
[0015] 步骤十、对图像的每一列，从(下)Μ到(上）1视差置信度传递；
[0016] 步骤十一、得到优化后的视差图Df。
[0017]发明效果
[0018] 本发明提出了一种改进的光学仿射不变双目立体匹配代价与视差优化方法，提出 的双目立体匹配代价方法有效的结合了改进的census变换和相对梯度算法，从匹配精度和 效率综合上看，该算法具有明显优势（用Middlebury网站上的测试图片Aloe作为比较，在 2.0GHz主频，2GB内存的英特尔双核笔记本的环境下采用C语言编程，匹配代价算法的运行 时间为〇 · 563秒，通过利用Middlebury网站上的测试集（（Aloe，Babyl，Cloth4，Art，Dolls， Laundry and Moebius))统计算法的精度，结果表明本文提出的匹配代价算法的精度全面 优于[3 ]，在光学扭曲变形较大时，其性能接近ANCC，但是当光学扭曲变形较小时，算法的精 度优于ANCC，另外，本文提出的匹配代价算法的计算量远小于ANCC。）。此外，本发明提出的 视差优化方法在保证精度的同时（算法的精度与[12]相当，但优于[10])，具有很低的计算 复杂度，计算量小（用图片Aloe作为比较，文献[10]大约需要956ms，文献[12] (C.Rhemann， A.Hosni,M.Bleyer,and et al·,"Fast Cost-volume Filtering for Visual Correspondence and Beyond/'Proc. IEEE Conf.Comput. Vis.Patt.Recognit.,pp.3017-3024,2011.)大约需要10.7ms,而本文方法只需18.4ms)，因此适合使用于对实时性要求高 的场合。
【附图说明】
[0019] 图la为网站Middlebury上的样本图片Midd2;
[0020] 图lb为对图la处理后所得的绝对梯度图；
[0021] 图lc为对图la处理后所得的相对梯度图；
[0022] 图2a为光照1(亮度1定义为亮度最暗的测试图片)和曝光2(曝光时间1000ms)条件 下的左视图；图2b为光照3(亮度最大的测试图片)和曝光2(曝光时间lOOOmsO条件下的右视 图；
[0023]图2c为在光照2(亮度次之的测试图片）和曝光1(曝光时间250ms)条件下的左视 图；
[0024]图2d为在光照2(亮度次之的测试图片）和曝光3(曝光时间4000ms)条件下的右视 图；
[0025] 图2e为用BT算法处理（2a_2b)图像对的结果图，BT为文献[ll](S.Birchfield and C.Tomasi，"A Pixel Dissimilarity Measure That is Insensitive to Image Sampling，"IEEE Trans.Patt.Anal.Mach. Intel1.,vol.20,no.4,pp.401-406,Apr.1998) 中的方法；
[0026] 图2f为用RG算法处理（2a-2b)图像对的结果图，RG为文献[3](X.Zhou and P·Boulanger，"Radiometric Invariant Stereo Matching Based on Relative Gradients，"19th IEEE Int.Conf.Image Process·,pp.2989-2992,2012.)中的方法；
[0027] 图2g为用CT算法处理（2a_2b)图像对的结果图，CT为[17](R.Zabih，J.Woodfill， "Non-parametric local transforms for computing visual correspondence"， Comp.Vision-ECCV,Springer Berlin Heidelberg,pp· 151-158，1994.)中的方法；
[0028] 图2h为用DIFFCT算法处理（2a-2b)图像对的结果图，DIFFCT为文献[15](A.Miron， S.Ainouz,A.Rogozan,and A·Bensrhair,"A Robust Cost Function for Stereo Matching of Road Scenes,"Patt.Recognit.Lett·,vol.38,pp.70-77,2014.)中的方法；
[0029] 图2i为用AADCT算法处理（2a_2b)图像对的结果图，AADCT为文献[14](X.Mei， X.Sun,M.Zhou,and et al·,"On Building an Ac-curate Stereo Matching System on Graphics Hardware,"IEEE Int.Conf.Comput.Vis.Work. ,pp.467-474,2011)中的方法；
[