专利名称：一种基于拍摄设备阵列的动态场景深度恢复方法
技术领域：
本发明涉及计算机视觉领域，特别涉及一种基于拍摄设备阵列的动态场景深度恢 复方法。
背景技术：
摄像机阵列是由一组摄像机，即多个摄像机)按一定方式排列而成，如线性排 列、平面排列或环形排列等。以此为基础开展的工作，通常需要先对各相机进行几何标定 (calibration)和颜色校准(color calibration)。通过几何标定，可获得各相机的内参矩 阵K，外参矩阵。外参矩阵包括旋转矩阵R和平移向量T。通过颜色校准，可使得采集的样 本颜色与目标颜色尽可能的接近。立体匹配作为计算机视觉中的一个基础问题，数十年来都是研究的热点。它的研 究内容即为如何求取高质量的深度图，是3D建模、视频编辑、虚拟视角生等众多应用的基 础。传统的深度恢复算法包括基于窗口的局部方法，以及对全局能量函数进行优化的全局 方法，如BP (置信传播)和Graph-Cuts (图分割)。另外，立体匹配中存在一些典型问题，如 场景中的遮挡，传统算法主要通过初始深度图进行遮挡检测或者直接在全局能量函数中加 入遮挡约束，与深度变量一起求解；另外，低纹理区域的深度估计也是一个难点，主要方法 是引入分割，假设每个分割区域内的深度一致或者过渡平滑，从而减少区域内像素级别的 误匹配。近些年来，立体匹配从双目匹配逐渐发展到多目匹配，即视频来源从两台固定相 机增加到固定摄像机阵列。对于静态场景，通过结合多视角的场景信息，能够更加准确的恢 复具有空间一致性的深度图。但对于动态场景，如果每个时刻分别求取深度图，则未能利用 场景在时间上的相关性，从而即使是同一相机的深度图也会存在抖动，误差无法得到纠正。 传统的方案是首先进行前后帧运动估计，然后为对应点增加深度平滑约束。但是，现有的动态深度恢复算法存在以下问题1)空间一致约束和时间一致约束形式不统一，时空优化的效果仍有待改进；2)当运动估计错误时，会对时间一致约束带来负面影响；3)部分算法仅对固定相机适用，当相机运动时则只能各个时刻分别求解。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别针对加强深度恢复时的时空 一致约束，纠正单时刻深度图中的误差并提高深度图的稳定性，同时当摄像机阵列运动时 也能进行深度求解，提出了一种基于拍摄设备阵列的动态场景深度恢复方法。为达到上述目的，本发明实施例提出一种基于拍摄设备阵列的动态场景深度恢复 方法，包括如下步骤进行视差图初始化以获得t时刻所有视角的初始视差图；对所述t时刻所有视角的初始视差图进行空间一致优化以得到所述t时刻所有视角的空间一致的视差图；和进行时空一致优化以恢复动态场景的视差图。本发明实施例提供的基于拍摄设备阵列的动态场景深度恢复方法，通过形式统一 的空间一致约束和时空一致约束，能有效的保证各相机深度图序列的稳定性，同时利用多 时刻深度信息进行单时刻误差的纠正。并且，即使运动估计错误，能量函数也能通过空间一 致进行优化，从而至少能保证单时刻求取的结果。此外，算法框架只需提供各时刻各视角的 相机参数，所以即使相机前后时刻发生运动，本算法仍然有效。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为根据本发明实施例的动态场景深度恢复方法的流程框图；图2为根据本发明实施例的动态场景深度恢复方法的流程图；图3为图1中的空间一致约束示意图；图4为图1中的时空一致约束示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明主要在于通过形式统一的空间一致约束和时空一致约束，能有效的保证各 相机深度图序列的稳定性，同时利用多时刻深度信息进行单时刻误差的纠正。为实现上述目的，本发明实施例一方面提出了一种基于拍摄设备阵列的动态场景 深度恢复方法。图1示出了上述动态场景深度恢复方法的流程框图。如图1所示，该方法 包括如下步骤SlOl 计算所有视角的初始视差图。Al 获取参考图像It,n、目标图像It,和拍摄设备阵列信息。结合图2所示，首先，获取参考图像It,n与目标图像It,，其中t e {1，... , T}； η e {1，· · ·，N} ;n' e {1，· · ·，N}。然后，获取拍摄设备阵列的信息。在本实施例中，拍摄设备为摄像机。具体的说，拍摄设备的阵列的信息包括摄像机数目(视角数)N、视频帧数V、图像 宽度W、高度H，各摄像机的内参、外参矩阵{K，R，V}。其中，各摄像机的内参、外参矩阵{K，R，V}可通过张正友几何标定法获得，亦可 以通过开源函数库OpenCV的相应函数得到。下文中各时刻t(te {1，. . .，Τ})、各视角 η(n e {1，...，N})的参数以{Kt,n，Rtjn, Vt, J 表示。定义变量视差D的范围[Dmin，DfflaJ和均勻量化级别L+1。其中D = 1/深度，同一 空间点相对各相机的D可能不同。
在本实施例中，定义D的范围
，并均勻量化为60个等级。A2 计算颜色相似性度量； 根据参考图像It,n(t e {1，···，Τ} ;ne {1，···，Ν})与目标图像It,η,计算颜色 相似性度量
权利要求
一种基于拍摄设备阵列的动态场景深度恢复方法，其特征在于，包括如下步骤进行视差图初始化以获得t时刻所有视角的初始视差图；对所述t时刻所有视角的初始视差图进行空间一致优化以得到所述t时刻所有视角的空间一致的视差图；和进行时空一致优化以恢复动态场景的视差图。
2.如权利要求1所述的动态场景深度恢复方法，其特征在于，所述进行视差图初始化 以获得t时刻所有视角的初始视差图进一步包括针对当前时刻t的每个视角参考图像It, n，分别构建初始能量函数，采用BP迭代求解 和区域分割进行视差平面拟合，得到每个视角当前时刻的初始视差图Dt,n，其中，t为时刻， η为视角。
3.如权利要求1所述的动态场景深度恢复方法，其特征在于，对所述t时刻所有视角的 初始视差图进行空间一致优化，包括 固定其他视角初始视差图，计算遮挡图并构建空间一致化能量函数，采用BP迭代求解 和区域分割再次进行视差平面拟合，得到每个视角当前时刻的空间一致的视差图为D' t,n， 其中，t为时刻，η为视角。
4.如权利要求1所述的动态场景深度恢复方法，其特征在于，所述进行时空一致优化 以恢复动态场景的视差图进一步包括对所述t时刻所有视角的空间一致的视差图进行时空一致优化，以得到每个视角当前 时刻t的时空一致的视差图；其中，通过联合其他时刻各个视角的时空一致的视差图进行时空一致优化。
5.如权利要求4所述的动态场景深度恢复方法，其特征在于，所述对t时刻所有视角的 空间一致的视差图进行时空一致优化进一步包括固定其他时刻视差图及t时刻其他视角视差图，计算遮挡图并构建时空一致能量函 数，采用BP迭代求解，得到每个视角当前时刻的时空一致的视差图为D" t,n，其中，t为时 刻，η为视角。
6.如权利要求2所述的动态场景深度恢复方法，其特征在于，在所述构建初始能量函 数之前，根据所述参考图像It,n和目标图像Tt,，计算颜色相似度量Pc (xt,n , )，Λ,η , (，《' ) = ΤΖ Γ7 ΠΓ +ID Ul2,其中，1^中的点，D(xt,n)为其预定视差，Xt,n在该视差D(xt,n)下位于It,n,中的 对应点为Xt,，σ。为常量，I (X)为X的颜色值。
7.如权利要求6所述的动态场景深度恢复方法，其特征在于，构建初始能量函数，采用 BP迭代求解，得到每个像素的初始视差，其中，初始能量函数为=Etjn = Ed(Dtjn) +Es (Dtjn)，数据项^⑷’“^？^-“氏丄厂‘氏“，乃氏“)))用于衡量It,η取视差图Dt, 的全局颜 色相似度，Lim (xt, n, D (xtjn)) = max {Pc (xtjn，D (xt,n)，It,n，It,^1)，pc (xt,n, D (xtjn)，It,n，It,n+1M，
8.如权利要求2所述的动态场景深度恢复方法，其特征在于，所述基于区域分割进行 视差平面拟合，得到每个视角当前时刻的初始视差图，包括对所述参考图像It, n进行颜色区域分割；对所述每个区域进行平面拟合，得到每个视角的初始视差图Dt,n。
9.如权利要求8所述的动态场景深度恢复方法，其特征在于，所述对每个区域进行平 面拟合，包括1)由分割区域Sk内的所有点[xkl ykl 1]，[xk2 yk2 1]，. . .，[Xkm ykm 1]及其视差Dkl， Dk2, ...，Dkm构建矩阵方程 其中，
10.如权利要求3所述的动态场景深度恢复方法，其特征在于，所述固定其他视角初始 视差图，计算遮挡图，包括针对所述参考图像It,n的每个视角，固定当前时刻其他视角的视差图； 根据所述每个视角的初始视差图Dt,n，计算其到目标图像It,的遮挡图, 当xt,n在目标图像It,n,中不可见时，《;:’(、),否则《’:’(、)=0 ,其中，xt,n为It,n中 的点。
11.如权利要求10所述的动态场景深度恢复方法，其特征在于，在所述计算遮挡图和 构建空间一致能量函数之间还包括以高斯函数建立空间一致度量
12.如权利要求5所述的动态场景深度恢复方法，其特征在于，在所述固定其他时刻视 差图及当前时刻其他视角视差图，计算遮挡图之后，还包括对当前时刻和其他时刻相同视 角的图像进行运动估计。
13.如权利要求12所述的动态场景深度恢复方法，其特征在于，在所述运动估计与计 算时空一致能量函数之间，还包括计算时空一致度量和时空一致的颜色相似度量，所述时空一致度量为(D{xrn,)-D\xfn,))2 Ps, <X’ , D(\n ), Α>·) = exp(- --:-)2(7st其中，xt,n 为 It,n 中的点，Ost = Os,D(xt, ,η,)为 Xt, ,η,的当前视差，D*(Xt,，n,)为 Xt,,R K1 R K1η,的理想视差，(D*(Xt’，J,D*(Xt,,J) = argmin( 二 t^ ^t-η" ^ ^ Xf,n' + Vt.n-Vt,J {K，R，V}(dt，，nAu') at*nat',n'，为所述拍摄设备的内参、外参矩阵； 所述时空一致的颜色相似度量为Pcst (xt,n, DOci ), lVn, If n') = [f77 χ Ti TiT，其中^^为工“中的点力^,》为其预定视差，xt,n在该视差D(xt,n)下位于目标图像 If，n中的对应点为xt, n，xt,n在该视差D (xt,n)下位于目标图像It,，n,中的对应点为xt,，n,， ο。为常量，I(X)为χ的颜色值。
14.如权利要求4所述的动态场景深度恢复方法，其特征在于，所述通过联合其他时刻 各个视角的时空一致视差图进行当前时刻t的各个视角视差图的时空一致优化，包括设t时刻的前一时刻为t'，即t' =t-l，利用t'的时空一致的视差图来进行当前时 刻t的时空一致优化；当t = 1时，不进行时空一致优化，并将其空间一致的视差图作为该时刻的时空一致的 视差图。
全文摘要
本发明提出一种基于拍摄设备阵列的动态场景深度恢复方法，包括如下步骤进行视差图初始化以获得t时刻所有视角的初始视差图；对t时刻所有视角的初始视差图进行空间一致优化以得到t时刻所有视角的空间一致的视差图；和进行时空一致优化以恢复动态场景的视差图。本发明通过形式统一的空间一致约束和时空一致约束，能有效的保证各相机深度图序列的稳定性，同时利用多时刻深度信息进行单时刻误差的纠正。
文档编号H04N13/00GK101945299SQ20101022878
公开日2011年1月12日 申请日期2010年7月9日 优先权日2010年7月9日
发明者季向阳, 戴琼海, 杨明进 申请人:清华大学