基于消费级摄像头的鲁棒实时三维重建方法_3

文档序号:9889081阅读:来源:国知局
为:
[0069]
[0070] 为像素位置(Xn,yn)经由GCPs的预测的深度值,通过以上的操作,将GCPs的可 靠深度值分段线性的插值到周围的区域,从而获得对弱纹理区域更平滑可靠的预测;
[0071]通过以上的操作,将GCPs的可靠深度值分段线性的插值到周围的区域,从而获得 对弱纹理区域更平滑可靠的预测,如图5所示。方法的优势在于可在非均匀的区域进行插 值;选取的GCPs不能保证是彼此等距离的网格点,通过Delaunay三角化,不同区域间三角形 的大小可以是不一样的,保证了在强纹理区域会有更多的GCPs,构建的三角形较密集且面 积较小,通过插值保证了局部的细节恢复,而位于弱纹理区域GCPs点的数量较少,构建的三 角形较稀疏且面积较大,通过插值可以产生局部较平滑的结果。
[0072]图5中虚线链接的像素点为GCPs,结合其深度信息构建空间的三角面Pgl。图像中某 一像素位置(xn,yn)如恰好位于GCPs所构成的三角形i的投影范围内,则(xn,y n)经由GCPs预 测的深度值为其在三角面Pgl上的投影。
[0073] (d)后处理:经由置信度调整处理后,系统包含一些不连续的小块,根据邻域深度 的一致性将深度图聚成一些连通分量,去除那些像素数目小于150的连通分量。
[0074]其它步骤及参数与【具体实施方式】一至三之一相同。
【具体实施方式】 [0075] 五:本实施方式与一至四之一不同的是:所述步骤四 基于TSDF和体素的深度在线增量融合,每一视频帧的深度图转化为截断符号距离场 (Truncated signed distance field,TSDF):
[0076] (一)如图6所示,待重建的物体表面位于解析度为Nx XNy XNz的包围盒中,其中Nx, Ny和Nz分别为X,Y和Z方向的体素的解析度,视线为从相机中心出发穿过像素的射线;从体素 中心到表面的符号距离定义在视线上,且增加一个权值因子l/δ并截断至区间[_1,1],δ控 制相关的近表面区域的宽度,反映了在z-axis方向对深度值期望的不确定性;
[0077] (二)假设在时间t,获得深度图Dt,将深度图Dt转换为TSDF,/;;,,厶e [-1,1],在逐 帧的深度融合的过程中,期望获得在包围盒的体素上的一个平滑的符号距离场u,使得u = 0 为估计的模型表面,u〈0位于模型表面内侧,u>0位于模型表面外侧,对于每一个体素 X,获得 如下的增量更新:
[0078]
[0079]其中,wt是t时刻的TSDF的权重,与表面的不确定性成正比,wt-i是t-1时刻的权重, 胃4是1时刻的权重增量,1!^是卜1时刻时的符号距离场U,(X)代表在体素 X位置,权重增量 在实际中设置为"= 1,Λ为深度图Dt对应的TSDF;融合过程可独立的在每一个体素 X 上执行,因此使用GPU进行并行处理,融合过程可独立的在每一个体素 X上执行,因此使用 GHJ进行并行处理。
[0080]其它步骤及参数与【具体实施方式】一至四之一相同。
[0081 ] 实施例:
[0082]本发明对于若纹理物体的重建特别有效,比如人脸的重建,与L SD- SLAM算法 (Engel J,Sch opsT,Cremers D.LSD-SLAM:Large-Scale Direct MonocularSLAM[C]// Proc .European Conf.Comput. Vis .Zurich,Switzerland: Springer ,2014:834-849)的对比 实验列在图7-10中,在这些图中,强调了所提出的深度估计算法的有效性。
[0083]使用提出的方法在 apples,pear,boot,dinosaur,earphone和 Mar io&house上的运 行结果如图7所示。从apples,pear和dinosaur的重建效果可以看出,算法可以有效的恢复 表面的形状,同时有效的去除噪声,从boot的重建结果可以看出,鞋子上的细微的表面特征 也可以有效的恢复。earphone场景包含一个由弱纹理覆盖的耳机,提出的基于置信度的深 度调整算法可以较好的重建耳机的形状。Mar io&house场景包含一个Mario模型,一个房屋 微缩模型和一个苹果。其中Mario模型和苹果的纹理较弱,而房屋模型的纹理较丰富,从重 建结果可以看出,本文基于置信度的深度调整算法,在弱纹理区域可以有效的平滑噪声,产 生光滑的重建效果,而同时,对于强纹理区域,也可以有效的保留表面的边缘特征。相比于 其它的数据集,人脸数据集包含大量的弱纹理区域。LSD-SLAM算法在估计相机位置的同时, 也可以输出一组半稠密的点云数据,对一位志愿者的人脸重建如图8所示。这些点云数据依 赖于表面的纹理信息,对于展示三维物体,特别是包含大量弱纹理区域的人脸,仍然过于稀 疏且包含较多的噪声。本文使用LSD-SLAM算法估计相机姿态后执行基于随机初始化和深度 传播的深度估计,产生稠密的深度图,然后从中选择高置信度的像素位置构成GCPs,并使用 分段线性插值重新调整弱纹理区域的深度。可以看出,提出的深度调整算法可以有效的抑 制由于弱纹理导致的噪声和空洞现象。对另外两个志愿者的人脸重建结果,分别如图9和10 所示。
【主权项】
1. 基于消费级摄像头的鲁棒实时=维重建方法,其特征在于按W下步骤实现: 一、 在摄像头移动的过程中,基于摄像头当前的视频帖作为输入,估计每一视频帖在场 景坐标系下的相机姿态: 二、 在视频帖中选择最佳的关键帖用于深度估计; =、采用快速鲁棒的深度估计算法估计每一视频帖的深度信息得到每一视频帖的深度 图: 四、将每一视频帖的深度图转化为截断符号距离场,并在体素上执行增量的深度融合, 最后输出=角网格表面,即完成了基于消费级摄像头的鲁棒实时=维重建方法。2. 根据权利要求1所述的基于消费级摄像头的鲁棒实时=维重建方法,其特征在于所 述步骤一具体为: (a) 构建一组关键帖集合JT: 在摄像头移动的过程中,依据时间距离和空间距离阔值从视频帖中选取关键帖k,每一 个关键帖对应一个估计的相机姿态,所有关键帖构成关键帖集合乂^; (b) 构建S维图J!#: S维图冰中包含点云数据(Pi,P:,P3…Pi...PW),其中Pi为点云数据中的某一S维点, 心/|为的基,即J龄中元素的数量,当新的关键帖被加入关键帖集合JT时,它与关键帖 集合乂'中其他关键帖执行立体匹配,产生新的点云数据加入,点云中的每一个S 维点Pi记录着它的=维坐标,法线方向,像素特征;当关键帖加入关键帖集合JT时,它与关 键帖集合JT中其他关键帖进行匹配,产生点云数据; (C)=维图和关键帖集合JT通过全局捆绑调整进行精细优化:其中e化为第j个S维点相对于第k个关键帖的重投影误差,Obj为化ber函数,W增加对 噪声和野点的鲁棒性,站为在关键帖k上可见的S维图乃/的子集,處和片分别表示第2个 和第I个关键帖的相机姿态估计值;y为待优化的相机姿态,P为待优化的=维点; (d)估计每一视频帖在场景坐标系下的相机姿态: 相机姿态为立维空间的刚体变换,假设当前视频帖序号为i,相机姿态包括了 3X3的旋 转矩阵Ri和3 X 1的平移矢量ti,在李群和李代数中,用一个6维的矢量m等价的表示相机姿 态;配准当前视频帖i与=维图W,即寻找最优的相机姿态参数A,使得=维图中相对于
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1