专利名称：对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法
技术领域：
本发明涉及立体匹配和深度恢复方法，尤其涉及一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法。
背景技术：
视频的稠密深度恢复技术是计算机中层视觉领域的基础技术之一，其在3D建模、3D影像、增强现实和运动捕获等众多领域中有及其重要的应用。这些应用通常要求深度恢复结果具有很高精度和时空一致性。 视频的稠密深度恢复技术的难点在于对于场景中的静态和动态物体，所恢复的深度值具有很高的精度和时空一致性。虽然目前对于静态场景的深度恢复技术已能够恢复具有较高精度的深度信息，但是自然界处处充满了运动的物体，对于视频场景中包含的动态物体来说，现有的深度恢复方法都很难达到较高的精度及时空域上的一致性。这些方法通常要求较多个固定放置的同步摄像机对场景进行捕获，在每个时刻对同步的多目视频帧利用多视图几何的方法进行立体匹配，从而恢复每个时刻的深度信息。而这种拍摄方法更多是被应用于实验室内动态场景的拍摄工作，实际拍摄过程中这种拍摄模式会有很多限制。另外现有的方法在时序上优化深度的过程中，通常利用光流寻找到不同时刻视频帧上对应像素点，然后将对应点的深度值或3D点位置进行线性或曲线拟合，从而估计出当前帧像素点的深度信息。这种时域上3D光顺化的方法只能使得时序上对应像素点的深度更为一致，并不能优化出真正准确的深度值；同时由于光流估计不鲁棒性的普遍存在，使得动态点的深度优化问题变得更为复杂难解。现有的视频深度恢复方法主要分为两大类1.对于单目静态场景视频的时域一致性深度恢复此类方法较为典型的是Zhang于09年提出的方法G. Zhang, J. Jia, T. _Τ·Wong, and H. Bao. Consistent depth maps recovery from a video sequence.1EEETransactions on Pattern Analysis and Machine Intelligence，31(6):974-988，2009.。此方法首先利用传统多视图几何的方法初始化每帧图像的深度，然后在时域上利用bundleoptimization技术统计多个时刻的几何和颜色一致性来优化当前巾贞的深度。此方法对于静态场景能够恢复出高精度的深度图；对于包含动态物体的场景，此方法不能恢复动态物体的深度值。2.对于多目动态场景视频的深度恢复此类方法较为典型的是Zitnick的方法CL. Zitnick，S. B. Kang, M.Uyttendaelej S. Winder, and R. Szelisk1. High-quality video view interpolationusing a layered representation. ACM Transactions on Graphics，23:600—608，August2004.、Larsen 的方法E. S. Larsen, P. Mordohaij M. Pollefeysj and H. Fuchs. Temporallyconsistent reconstruction from multiple video streams using enhanced beliefpropagation.1n ICCV, pages 1-8, 2007.以及 Lei 的方法C. Lei, X. D. Chen, andY. H. Yang. A new mult1-view spacetime-consistent depth recovery framework forfree viewpoint video rendering.1n I CCV, pages 1570-1577，2009.。这些方法都利用同一时刻的多目同步视频帧恢复深度图，要求利用较多数目的固定放置的同步摄像机拍摄动态场景，不适合用于户外实际拍摄。Larsen和Lei的方法分别利用时空域上能量优化和时域3D光顺化的方法来优化深度值，使得这些方法不够鲁棒，不能处理光流估计产生严重错误的情况。对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法的步骤 I)使用了 Tola 提出的 DAISY 特征描述符E. Tola, V. Lepet it, and P. Fua. Daisy: Anefficient dense descriptor applied to wide-baseline stereo.1EEE Transactions onPattern Analysis and Machine Intelligence, 32(5):815-830,2010.对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法的步 骤 I)和步骤 2)使用了 Comaniciu 提出的 Mean-shift 技术D. Comaniciu, P. Meer, andS. Member. Mean shift:A robust approach toward feature space analysis.1EEETransactions on Pattern Analysis and Machine Intelligence, 24:603-619, 2002.对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法的步骤 2)使用了 Rother 提出的 Grabcut 技术C. Rother, V. Kolmogorov, andA. Blake.，，grabcut，， interactive foreground extraction using iterated graph cuts.ACM Transactions on Graphics, 23:309-314, August 2004.对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法的步骤I)、步骤2)和步骤3)使用了 Felzenszwalb提出的能量方程优化技术:P. F. Felzenszwalband D.P.Huttenlocher. Efficient belief propagation for early vision.1nternational Journal of Computer Vision, 70(1):41-54, 2006.
发明内容
本发明的目的在于针对现有技术的不足，提供一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法。对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法的步骤如下I)利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图；2)利用步骤I)得到的初始化深度图对于多目视频的每一帧图像计算动态概率图，并利用动态概率图对每帧图像进行动态像素点和静态像素点的划分；3)对于步骤2)所划分的动态像素点和静态像素点，利用不同的优化方法进行时空一致性的深度优化，对于静态像素点，利用bundle optimization方法结合多个相邻时刻的颜色和几何一致性约束进行优化；对于动态像素点，统计多个相邻时刻的多目摄像机之间对应像素点的颜色和几何一致性约束信息，由此对每一时刻动态深度值进行时空一致性优化。所述的步骤I)为
(I)利用多视图几何方法结合DAISY特征描述符，对于同一时刻的多目视频帧进行立体匹配，通过如下能量优化方程式求解每一时刻图像帧的初始化深度图yw(/^；/(/)) = ^((/^;/(/))+ /；.(/.)；)其中/( ) = {/； I = 1,·.·，Μ}表示在t时刻的M个多目同步视频帧，/I表示第m个视频的t时刻的图像帧，化表示第m个视频的t时刻的深度图4( ;/(/))是数据项，表示尸中像素点与根据化计算的/>)中其余图像帧投影点之间的DAISY特征相似度，其计算公式如下Ed(DfmJiO) = Σ—-ΓΤ- -
TjM-1其中以心私乂^尤卜丨功乂卜巩心^是用来估计对应像素 的DAISY特征相似度的惩罚函数,！> ,)表示像素点<,的DAISY特征描述符，是<利用Di(XL)投影至4中的投影位置是平滑项，表示相邻像素X、y之间的深度平滑程度，其计算公式如下= Σ HiiniI^(X)-Zr(V)M;!
X yeiV(x)其中平滑权重λ为O. 008，深度差的截断值η为3 ;(2)利用多目视频帧的初始化深度在3D空间中的一致性来判断每帧图像中的每个像素点在同一时刻其余摄像机中是否可见，从而得到同一时刻多个摄像机两两之间的可视性图；可视性图的计算公式如下
fnn97l yt (V、j1 \ O'J - KWH= {
I0 IUxJ-4( )1>么其中d , )表示<在4中是否可见，I表示可见，O表示不可见；δ (1是深度差异的阈值，是通过利用投影至4上计算得到的；利用所得到的可视性图，对每个像素V计算总体可视性G(<,)如果f在t时刻所有其余视频帧中均不可见，则
m m
Coc)为0，否则6 ,)为I;(3 )结合所求得的可视性图重新初始化每帧图像的深度图，DAISY特征相似度仅在可见的像素格点进行比较估计；并且，当6 ,) = 0的像素点的初始化深度值出现错误的情况下，利用Mean-shift技术对每帧图像进行分割，对于每个分割区域，利用 ) = I的像素点的深度来拟合参数为[a，b，c]的平面，利用拟合的平面重新定义004) = 0的像素点的数据项E此 D:n) = Σ^^--TT；其中σ d用来控制数据项对于深度值与拟合平面的距离差的敏感度，X和y是像素点<的坐标值；利用重新定义的数据项进行能量优化，从而纠正被遮挡像素点的错误深度值；所述的步骤2)为
(1)对于每帧图像中的像素点，利用初始化深度死(<)将其投影至其余时刻帧，t匕 较像素点在当前时刻帧与其余时刻帧上的对应位置的几何与颜色的一致性，统计深度值和 颜色值具有一致性的其余时刻帧数目所占的比例值，作为像素点属于动态物体的概率值， 从而得到每帧图像的动态概率图，其计算公式如下
权利要求
1.一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法，其特征在于它的步骤如下 1)利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图； 2)利用步骤I)得到的初始化深度图对于多目视频的每一帧图像计算动态概率图，并利用动态概率图对每帧图像进行动态像素点和静态像素点的划分； 3)对于步骤2)所划分的动态像素点和静态像素点，利用不同的优化方法进行时空一致性的深度优化，对于静态像素点，利用bundle optimization方法结合多个相邻时刻的颜色和几何一致性约束进行优化；对于动态像素点，统计多个相邻时刻的多目摄像机之间对应像素点的颜色和几何一致性约束信息，由此对每一时刻动态深度值进行时空一致性优化。
2.根据权利要求1中所述的一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法，其特征在于所述的步骤I)为 (1)利用多视图几何方法结合DAISY特征描述符，对于同一时刻的多目视频帧进行立体匹配，通过如下能量优化方程式求解每一时刻图像帧的初始化深度图
3.根据权利要求1中所述的一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法，其特征在于所述的步骤2)为 (1)对于每帧图像中的像素点，利用初始化深度化(<)将其投影至其余时刻帧，比较像素点在当前时刻帧与其余时刻帧上的对应位置的几何与颜色的一致性，统计深度值和颜色值具有一致性的其余时刻帧数目所占的比例值，作为像素点属于动态物体的概率值，从而得到每帧图像的动态概率图，其计算公式如下
4.根据权利要求1中所述的一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法，其特征在于所述的步骤3)为 (1)对于静态像素点，利用bundleoptimization方法统计当前时刻巾贞像素点和多目视频多个相邻时刻帧上对应像素点之间的颜色和几何一致性约束信息，由此对当前时刻静态深度值进行优化； (2)对于动态像素点<，假设其候选深度为d，首先根据d将其投影至同一时刻t的视频m,，得到对应像素点比较 <和xl,的颜色与几何一致性，其计算公式如下
全文摘要
本发明公开了一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法。它利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图；对于多目视频的每一帧图像计算动态概率图，利用动态概率图对每帧图像进行动态像素点和静态像素点的划分，利用不同的优化方法进行时空一致性的深度优化，对于静态点，利用bundle optimization方法结合多个相邻时刻的颜色和几何一致性约束进行优化；对于动态点，统计多个相邻时刻的多目摄像机之间对应像素点的颜色和几何一致性约束信息，对每一时刻动态深度值进行时空一致性优化。本发明在3D立体影像、3D动画、增强现实和运动捕获等领域将会有很高的应用价值。
文档编号H04N13/02GK103002309SQ20121036097
公开日2013年3月27日 申请日期2012年9月25日 优先权日2012年9月25日
发明者章国锋, 鲍虎军, 姜翰青 申请人:浙江大学