基于消费级摄像头的鲁棒实时三维重建方法
【技术领域】
[0001]本发明涉及基于消费级摄像头的鲁棒实时三维重建方法。
【背景技术】
[0002] 随着手机，数码相机的普及，获取高质量的图像越来越便捷，一个迫切的需求是利 用这些图片数据重建我们所生活的三维世界，包括:物体、场景甚至整个环境。已有的基于 图像的三维重建方法，所采用的工业相机设备价格昂贵，且计算成本较高，对于一个小场景 的重建一般需要一台高性能计算机几个小时的处理时间。然而，传感器噪声，遮挡和光照变 化经常导致三维重建任务失败，这些问题仅通过观察图像往往难以预测。由于这些问题，花 费几个小时重建的模型往往是不精确的，不完整的，且包含瑕疵。在很多场合，几乎不可能 重新返回待重建场景重新捕获图像数据。即便可以对待重建场景反复的拍摄和重建，造成 的计算负担和工作量仍然是巨大的。因此，期望有一个重建方法能够在拍摄过程中就实时 的反馈重建结果的质量，并帮助用户评估重建质量，规划可提高重建精度和完整度的相机 移动轨迹。
【发明内容】
[0003] 本发明是要解决现有方法计算成本高，重建的模型不精确并且不完整的问题，而 提供了基于消费级摄像头的鲁棒实时三维重建方法。
[0004] 基于消费级摄像头的鲁棒实时三维重建方法，按以下步骤实现：
[0005] -、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入，估计每一视频帧 在场景坐标系下的相机姿态：
[0006] 二、在视频帧中选择最佳的关键帧用于深度估计；
[0007] 三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的 深度图：
[0008] 四、将每一视频帧的深度图转化为截断符号距离场，并在体素上增量的融合，最后 输出三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。
[0009] 发明效果：
[0010] 本发明技术方案提出一个实时、低成本的三维重建方法，可以实时地且高质量地 重建并可视化真实场景。如图1所示，提出的方法使用低成本消费级摄像头的视频作为输 入，如网络摄像头或是手机摄像头。由于这些消费级摄像头广泛用于日常生活，方法实际上 可允许重建相当广泛的场景。三维重建的模型可以直接用于增强现实，3D打印，计算机游戏 等应用，如图2。在实验中，使用一枚视频分辨率为640 X 360的网络摄像头，帧率为30Hz。算 法在一台配置为CPU i7,32G RAM，显卡NVIDIATitian black，6G显存的台式电脑上运行。深 度融合中体素的解析度为256 X 256 X 256。算法平均运行速度是每秒5帧。研究内容主要包 括了视频帧相机姿态的实时估计，基于置信度的鲁棒深度估计算，以及基于GPU的深度融 合。虽然基于消费级摄像头的实时三维重建非常有价值，提出的方法需要解决几个挑战问 题:首先，相机在每一个视频帧中的姿态是未知的；第二，消费级相机的成像质量比工业级 相机要低很多；第三，弱纹理或无纹理区域广泛存在，这些区域的三维重建的质量和可靠性 较差，比如人脸重建。本发明有效解决上述难题。
[0011] (1)通过随机策略初始化深度搜索范围，深度估计算法具有尺度可扩展性；
[0012] (2)提出的深度估计算法对于弱纹理区域比较鲁棒。算法为每一个深度估计一个 置信度值，并基于高置信度区域构建一个分段线性模型用于预测弱纹理区域的深度。
[0013] (3)大多数重建方法使用稀疏采样的关键帧进行重建，提出的专利使用视频的每 一帧进行模型的估计，充分的利用了视频图像的冗余信息，能够生成更稠密的重建，以及处 理遮挡问题。
[0014] (4)在深度融合阶段，我们采用了基于GPU和体网格的融合，可以高效的抑制噪声 并重建复杂的场景结构。通过对体数据进行可视化，可以实时可视化重建过程。
【附图说明】
[0015] 图1是提出的实时三维重建方法的概述图；
[0016]图2是提出的重建方法在3D打印上的应用实例图；
[0017]图3是提出的单目相机三维重建的算法流程图；
[0018]图4是深度传播示意图；
[0019]图5是基于置信度的深度调整；
[0020]图6是截断符号距离场的图示；
[0021]图7单目实时三维重建方法对静态场景三维重建结果图；其中，第一列和第三列是 输入的视频的某一帧，第二列和第四列是可视化的三维重建结果；
[0022]图8是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的对 比图；其中，第一行，从左到右:输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计 的深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图； [0023]第二行，从左到右:基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用 基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建 结果；
[0024]图9是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的对 比图；其中，第一行，从左到右:输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计 的深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图； [0025]第二行，从左到右:基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用 基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建 结果；
[0026]图10是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的 对比图；第一行，从左到右:输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计的 深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图； [0027]第二行，从左到右:基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用 基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建 结果。
【具体实施方式】
【具体实施方式】 [0028] 一:结合图1~图10说明本实施方式，本实施方式的基于消费级摄像 头的鲁棒实时三维重建方法，按以下步骤实现：
[0029] -、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入，估计每一视频帧 在场景坐标系下的相机姿态：
[0030] 二、在视频帧中选择最佳的关键帧用于深度估计；
[0031] 三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的 深度图：
[0032] 四、将每一视频帧的深度图转化为截断符号距离场，并在体素上增量的融合，最终 初始三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。
[0033]【具体实施方式】二:本实施方式与【具体实施方式】一不同的是:所述步骤一具体为：
[0034] (a)构建一组关键帧集合:
[0035]在摄像头移动的过程中，依据时间距离和空间距离阈值从视频帧中选取关键帧k， 每一个关键帧对应一个估计的相机姿态，所有关键帧构成关键帧集合戈?
[0036] (b)构建三维图#:
[0037] 三维图I中包含点云数据(Ρ!，P」…P,…P .々·），其中pi为点云数据中的某一三 维点，|灰|