一种三维全脸照相机中高保真全脸纹理融合方法
【技术领域】
[0001] 本发明涉及三维测量领域，特别多个3D相机在不同视角拍摄的纹理进行高保真纹 理融合的三维全脸照相机中高保真全脸纹理融合方法。
【背景技术】
[0002] 真实感三维模型不仅能够精确地表达目标物体的几何形状和拓扑结构，而且还能 同时表达物体本身的真实表象，在文化遗产保护、建筑、影视艺术以及逆向工程等领域具有 重要的研究意义和应用价值。
[0003] 仅仅通过几何形状(缺少表面颜色、材质等属性)并不能反映物体的真实表象，为 了得到真实感的三维模型，还需进行纹理图像的获取与融合。在深度图像采集系统中加入 纹理采集相机，把纹理相机作为系统的组件，在采集前对纹理相机进行标定，从而获得深度 图像与纹理图像的精确对应关系。此外，由于光照变化、物体的非完全漫反射、几何重建的 误差，以及匹配的精度限制等因素，在物体表面会有明显的"痕迹"出现，为此，必须进行纹 理融合，以消除非自然的痕迹，得到真实感三维模型。
[0004] 目前已发展了多种纹理融合的方法，Rocchini等（"Multiple texture stitching and blending on 3D object[C]，>Proceedings of Eurographics Readering Workshop) 用绑定纹理图和几何模型的方法进行纹理融合，投影三维点到目标纹理图以确定有效纹理 图，并选取最佳纹理(与几何投影倾斜小)作为目标三维点的纹理;然后通过区域生长，迭代 寻找邻近的三维点，使目标纹理尽可能来自同一区域，以保证区域纹理的连续性;再对区域 边界进行平滑处理(线性插值），实现目标的平滑。该方法确保了区域内部纹理的一致连续 性，但简单地对区域间的边界进行线性处理，不能很好地实现纹理色彩差异大或重叠区域 面积小的平滑过渡。
[0005] Beauchesne等（"Automatic relighting of overlapping textures of 3D m〇del[C]"）利用外推法进行纹理融合，对全局进行重新着色，生成结果比简单均值融合结 果更真实，但是其无法保证纹理色彩是全局最优。
[0006] Lempitsky V等（"Seamless mosaicing of image based texture maps[C]''）则 用镶嵌方法进行纹理融合，利用图像分割的方法把物体表面分为不同的区域，然后再通过 消除边缘的纹理接缝，实现模型表面色彩的平滑。具有复杂拓扑空间几何形体的纹理融合 一般很难得到其参数化，并且受深度图像匹配精度以及重建几何模型误差等外在因素的限 制，通常在纹理模型表面仍有少量的细缝存在。
[0007] 综上所述，现有的纹理融合方法无法重构出具有高保真的真实感的三维模型。
【发明内容】
[0008] 本发明的目的在于克服现有技术中所存在的上述不足，提供一种三维全脸照相机 中高保真全脸纹理融合方法，旨在对高分辨率纹理相机不同视角拍摄的纹理图像进行几乎 无痕迹的融合，重构出具有高保真的真实感的三维模型。
[0009]为了实现上述发明目的，本发明采用的技术方案是：
[0010] 一种三维全脸照相机中高保真全脸纹理融合方法，包括如下步骤：
[0011] 一、对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的 一个三角面片投影到不同视角拍摄的纹理图像上；外参数包括一个3*3的旋转矩阵和一个 1*3平移向量，平移向量中的三个向量成员分别表征空间中X方向、y方向、z方向的平移;标 定参数除外参数外，还包括摄像机的内参数，内参数包括水平焦距、垂直焦距、相机相面中 心(主点）、径向畸变、切向畸变等。
[0012] 二、将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面 片的融合权重；
[0013] 三、把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形 状；
[0014] 四、进行纹理三角形融合；
[0015] 五、将融合后的纹理三角形贴到对应的三维模型三角面片上。
[0016] 该方法具体为：
[0017] 步骤一:利用平面标定法对多个三维纹理摄像机外参数进行标定；
[0018] 步骤二:使用步骤一得到的标定参数将三维模型上的每个三角面片Tridill，2， 3, .. .N)(N为三维模型上三角面片的个数）投影到多个三维纹理摄像机拍摄的纹理图 image」（j = 1，2，3，. . .，M) (M为纹理相机的个数，当投影有遮挡时则不投影)上，得到纹理三 角面片 ΤθΧΤΗυ(? = 1，2，···，Ν;]· = 1，2，···，Μ)。
[0019] 步骤三:计算每个纹理三角面片ΤΘΧΤΗυ(? = 1，2,. . .，N; j = l，2,. . .，Μ)的融合权 重 Wij(i = l，2，...，N;j = l，2，...，M)
[0022]其中γ ^为三角面片Tri^的质心到纹理相机cam」的光心坐标组成的向量与三角面 片Triij的法线的夹角。
[0023] 步骤四：在Wij(j = l，2, . . .，M)中找出融合权重最大值Wik(ke[l，M])对应的纹理 三角面片TexTriik，令TexTriik为TexTrii，将其它纹理三角面片TexTriij(j = l，2, · · ·，M)通 过仿射变换成与TexTrii相同形状的三角面片/>(/>/,, (/ =丨,2,.,.,，在纹理三角面片 TexTrii内任意坐标(x，y)上取一个像素Uk，因为7W/V,y丨/= 的形状与TexTrii的 形状相同，在TVx/W,, = 内相同像素坐标(x，y)位置上取一个像素i/，Uk可以通过 下面公式重新计算赋值，
[0025]同理，TexTrik内其它像素都可以按照以上方法重新计算融合后的值，记录纹理三 角面片TexTrii与三维模型三角面片Trii的一一对应关系。
[0026] 步骤五:采用步骤一至四找出三维模型上所有三角面片Trii(i = l，2,3, . . .N)对 应的纹理三角面片TexTrii。在三维模型显示时，将纹理三角面片TexTrii--剪切贴到对应 的三维模型三角面片Trii上。
[0027]与现有技术相比，本发明的有益效果：
[0028]本发明主要用于三维照相高保真纹理生成的应用场合，利用本发明提出的利用三 维空间信息获取复合权重的方法及多个纹理三角面片融合的方法，可以实时的得到高保真 的纹理图像。且本发明有以下优点：
[0029] (1)计算速度快。计算步骤主要包括三角面片法线计算、图像仿射变换与图像加权 复合，这三种计算时间复杂度均较小，假如有m个三角面片，η个需要计算的像素，三角面片 法线计算时间复杂度小于等于l〇*m，图像仿射变换计算时间复杂度小于等于6*η，图像加权 复合计算时间复杂度小于等于3*η。电脑使用酷睿i5CPU(不使用GPU计算，仅用CPU计算），融 合前纹理图像为3张2000万像素图像，纹理融合计算时间小于等于200毫秒。
[0030] (2)可以对高分辨率纹理相机不同视角拍摄的纹理图像进行融合，融合后三维模 型即使放大10倍的情况下人眼仍然看不到融合痕迹，三维模型即使在放大10倍时也具有清 晰细腻的纹理细节。
【附图说明】：
[0031]图1是本发明实施例中的流程不意图。
【具体实施方式】
[0032]下面结合【具体实施方式】对本发明作进一步的详细描述。但不应将此理解为本发明 上述主题的范围仅限于以下的实施例，凡基于本
【发明内容】
所实现的技术均属于本发明的范 围。
[0033]本发明提出一种实现真实感三维模型的纹理融合方法，将纹理相机作为系统组 件，获取物体不同拍摄视角的纹理图像，再结