视频帖i的可见点集Si的重投影误差最小： 病=argniin 完 W 料 其中，y为待优化相机姿态，戈表Si中第j个=维点相对于当前视频帖i的重投影误差， Obj为化ber函数。3. 根据权利要求1或2所述的基于消费级摄像头的鲁棒实时=维重建方法，其特征在于 所述步骤二具体为： (一) 将关键帖集合JT中的关键帖按照和当前帖的基线大小的升序排列，并选择前M帖 构成一个子集，从中选择与当前帖夹角最小的关键帖子集心^假设关键帖集合中的相机中 屯、坐标依次是Cl，C2，C3 ... Cn，当前帖的相机中屯、坐标为C，当前帖与第m个关键帖的基线的 计算方法是：(二) 根据基线大小，按照升序进行排序，根据距离阔值T从中选择一个关键帖子集 T值定义为相邻关键帖之间距离的平均值的2倍，当前帖与关键帖之间的夹角的计算如下： 假设当前帖的光学轴为r，某一关键帖的光学轴为rm，则二者的夹角为：其中?为点积操作，I I为矢量范数； (=)根据当前帖与关键帖子集^5^1-中的关键帖逐个的计算夹角，从中选择夹角最小的 关键帖Km作为最佳关键帖用于下一步的深度估计。4.根据权利要求3所述的基于消费级摄像头的鲁棒实时=维重建方法，其特征在于所 述步骤=采用快速鲁棒的深度估计算法估计每一视频帖的深度信息： (a) 随机初始化:对于当前帖It和最佳关键帖^，目标是估计It上每一像素的深度;设 深度捜索范围为[Crn，cTx]，对于I冲的每一个像素位置p=(x，y)，随机初始化一个深度值 dp,基于对光照变化的鲁棒性，使用ZNCC的负值作为度量深度假设的成本，对于当前帖It的 像素位置P，选择一个W它为中屯、的WXw的窗口，对于窗口中的每一个像素位置朽，其深度 值为dp，计算其在/k。的对应的像素位置，并计算匹配成本;其中，所述(Tin和CTX分别为深度 捜索范围中的最小深度和最大深度； (b) 深度传播:采用基于扫描线的传播方式，即： (i) 行扫描:逐行从左向右比较相邻像素的成本，如果COSt(dx-l,y)<COSt(dx,y)，则dx,y = dx-l,y，然后逐行从右向左扫描，如果COSt(dx+l,y)<COSt(dx,y)，贝lJdx,y = dx+l,y;其中，所述COSt (cU,y)是像素(X，y)的深度为dx,y时的图像匹配成本，COSt(dx-l,y)是像素(X-l，y)的深度为 dx-l,y时的图像匹配成本，COSt(cU,y)是像素(X+l，y)的深度为dx+l,y时的图像匹配成本； (ii) 列扫描:逐列从上向下比较相邻像素的成本，如果COSt(dx,y-l)<COSt(dx,y)，则dx,y =(1^-1;然后逐列从下向上扫描，如果(3031：((1^+1)<(3031：((1^)，则(1^=山州；其中，所述 COSt(dx,y-l)是像素(X，y-1)的深度为dx,y-l时的图像匹配成本，COSt(dx,y+l)是像素(X，y+1) 的深度为dx,y+l时的图像匹配成本； 因为每一行或列的操作相对于其他行或列都是数据独立的，使用GPU并行实现，通过上 述操作，正确的深度假设会从图像像素的四邻域区域传播到当前像素； (C)置信度调整 (i)提取高置信度的深度值:使用深度假设的图像间匹配成本作为置信度的度量指标； 选择一个ZNCC阔值，选取ZNCC值大或对应的成本较小的像素位置;去掉大部分的弱纹理区 域的像素，而同时去除一部分在强纹理区域深度假设不正确的像素值； 对于每一个候选点，进一步执行空间一致性检查操作W过滤可能存在的野点；在W当 前候选点为中屯、的局部窗口内（WsXWs)统计与当前候选点的深度假设小于某一阔值Td的像 素的数量;如果满足W上条件的像素数量大于T。，则将当前候选点及其深度值作为地面控 制点，最终，通过W上步骤记录一组高置信度的点和其深度值作为GCPs; (ii)基于GCPs的深度预测：使用一组GCPs和所对应的深度值预测周边临近区域的深度 值;采用一组分段线性函数，在GCPs上基于计算DelaunayS角化实现GCPs周围临近区域的 深度值插值，对于一个GCPs点(xgj，ygj)，有如下的平面方程的约束： 結苗為二巧方各,+吨+C' 其中i是S角形的索弓|，<e V为GCPs点惭深度值，ai，bi和Cl为平面方程的系 数，对于每一个S角形，包含3个GCPs,获得S个类似的等式，因此平面参数(ai，bi，ci)通过 求解线性系统得出；对于图像中某一像素位置(xn，yn)，如果位于=角形i的投影范围内，贝U 其经由GCPs预测的深度值为： 巧.V。二 a,兩+? 托+C, 巧为像素位置(Xn，yn)经由GCPs的预测的深度值，通过W上的操作，将GCPs的可靠深 度值分段线性的插值到周围的区域，从而获得对弱纹理区域更平滑可靠的预测； (d)后处理:经由置信度调整处理后，系统包含一些不连续的小块，根据邻域深度的一 致性将深度图聚成一些连通分量，去除那些像素数目小于150的连通分量。5.根据权利要求4所述的基于消费级摄像头的鲁棒实时=维重建方法，其特征在于所 述步骤四将每一视频帖的深度图转化为截断符号距离场并在体素上增量的融合： (一) 待重建的物体表面位于解析度为Nx X Ny X Nz的包围盒中，其中Nx，Ny和Nz分别为X，Y 和Z方向的体素的解析度。视线为从相机中屯、出发穿过像素的射线;从体素中屯、到表面的符 号距离定义在视线上，且增加一个权值因子1/S并截断至区间[-1,1]，S控制相关的近表面 区域的宽度，反映了在z-axis方向对深度值期望的不确定性； (二) 假设在时间t，获得深度图Dt,将深度图Dt转换为TSDF為，在G [-1，U，在逐帖的深 度融合的过程中，期望获得在包围盒的体素上的一个平滑的符号距离场U，使得U = O为估计 的模型表面，u<0位于模型表面内侧，u〉0位于模型表面外侧，对于每一个体素 X，获得如下的 增量更新：其中，Wt是t时刻的TSDF的权重，与表面的不确定性成正比，Wt-I是t-1时刻的权重，W巧是 t时刻的权重增量，Ut-I是t-1时刻时的符号距离场U，（X)代表在体素 X位置，权重增量在实际 中设置为"'4(x) = I，充,为深度图Dt对应的TSDF;融合过程可独立的在每一个体素 x上执行， 因此使用GPU进行并行处理，融合过程可独立的在每一个体素 X上执行，因此使用GPU进行并 行处理。
【专利摘要】基于消费级摄像头的鲁棒实时三维重建方法，本发明涉及基于消费级摄像头的鲁棒实时三维重建方法。本发明是要解决现有方法计算成本高，重建的模型不精确并且不完整的问题。一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入，估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转换为截断符号距离场，在体素上并行地执行TSDF的加权平均，增量地融合每一视频帧的深度图，并通过Marching？cubes算法构建三角网格表面。本发明应用于图像处理领域。
【IPC分类】G06T17/30, G06T7/00
【公开号】CN105654492
【申请号】
【发明人】王宽全, 李兆歆, 左旺孟, 张磊
【申请人】哈尔滨工业大学
【公开日】2016年6月8日
【申请日】2015年12月30日