基于单张RGB图像实现不同人体重建模型的融合方法

本发明涉及计算机视觉处理领域，尤其涉及一种基于单张rgb图像实现不同人体重建模型的融合方法。

背景技术：

1、人体三维重建是三维重建领域中的的重要细分领域。低成本、便捷的获取人体三维模型有广泛的应用空间和应用价值。传统的方法耗时长、设备昂贵、获取难度高、难以应用到日常场景中。当前，深度学习可以利用神经网络强大的拟合能力从图像中学出合理映射，但也存在着显著的缺点；由于学习信息的限制，不同的单张图重建方法难以兼顾多方面的重建优势，一方面蒙皮多人线性模型(smpl：skinned multi-person linear model)系列方法可以发挥重建的姿态和人体结构优势，但难以兼顾优良完整的衣物重建；另一方面隐式表达系列方法具有重建精度高和表达复杂高维三维结构能力强的优势，但难以兼顾合理的人体结构。在单张图人体三维重建中，发挥模型自由表达能力与利用参数化先验做姿态规范是一个天平的两端，重建方法侧重于某一端时，另一端的重建优势就会受到限制。

技术实现思路

1、本发明的目的是为了提供基于单张rgb图像实现不同人体重建模型的融合方法，提高重建精度。

2、为解决以上技术问题，本发明的技术方案为：基于单张rgb图像实现不同人体重建模型的融合方法，包括：

3、步骤s100：标定模型迁移与融合区域：将两个不同重建方法得到的隐式表达网络通过marching cubs算法网格化，获得空间及空间分辨率对齐的三维人体重建模型；基于单张rgb图输入两个三维人体隐式重建模型；通过渲染方式获得每个模型像素对齐的空间深度图，并计算对应的空间厚度图，通过厚度图对比获得两个模型的相同区域和不同区域；

4、步骤s200：基于预测深度图的模型厚度放缩和空间对齐：基于人体模型数据集渲染出的单张rgb图片和对应的空间深度图，训练得到人物可见面和不可见面的深度图网络，使用rgb图像输入网络得到预测的可见面深度图和不可见面深度图；确定z空间位置并使用厚度放缩算法对齐不同重建模型的z空间厚度；

5、步骤s300：模型融合：将两个重建模型的相同区域和不同区域在边界处进行插值融合；

6、步骤s400：后处理：将模型进行离散三角形裁剪以及法向优化。

7、进一步地，步骤s100包括：

8、步骤s110：使用同一张人物rgb图片进行裁剪和去除背景后，用于两种三维人体隐式重建模型的输入，得到两个模型重建出的空间对齐的marching cubes立方体空间；两种三维人体隐式重建模型包括第一模型和第二模型；

9、步骤s120：遍历已获得的两个marching cubes立方体空间，获取每个点的数值，统计x-y二维空间上每个cubes[z][x][y]＞v的点到相机视角的距离得到第一空间深度图和第二空间深度图；其中，v值表示采样点经过计算后是否在重建模型表面的概率值；

10、步骤s130：基于第一空间深度图和第二空间深度图计算对应的第一空间厚度图和第二空间厚度图；

11、步骤s140：基于第一空间厚度图和第二空间厚度图进行逐像素对比，得到两个重建模型在marching cubes立方体的x-y二维空间上的重合点和未重合点，得到两个立方体空间中的差异和重合信息，判定第一模型的保留区域和第二模型迁移区域；

12、步骤s150：基于边缘距离标记算法标记第一模型的保留区域和第二模型的迁移区域的边缘点。

13、进一步地，步骤s110中，第一模型为icon重建方法获得的三维人体隐式重建模型；第二模型为基于pifu重建方法获得的三维人体隐式重建模型。

14、进一步地，步骤s120中，v值采用0.5；0.5作为重建表面，大于0.5视为在重建表面外，小于0.5视为在重建人体表面的内部。

15、进一步地，其中，步骤s150包括：

16、步骤s151：遍历所有共同点，标记与共同点相邻的不同点，标记为距离1，之后遍历距离1点，再标记所有未被标记且与之相邻的不同点，标记为距离2，以此类推，通过反复标记将所有可达的不同点标记为与最近相同点的距离；

17、步骤s152：设定一个阈值x，将距离大于阈值x的点均标记为迁移部分的点集，对于不同部分的迁移点集的相邻点，反复标记直到距离1被加入迁移点集；这时所有的标记点均为需要迁移拼接的点集；在得到迁移拼接点集合之后，对模型表面距离为1的点向第一模型保留点集合中继续拓展n个像素，通过判断距离为1的点的相邻点是否为相同点，若是则加入新的集合，作为相同区域的插值融合部分；

18、步骤s153：通过步骤s151和步骤s152反复递归，得到第一模型保留区域和第二模型迁移区域分别距离两部分边缘n个像素的插值区域。

19、进一步地，步骤s200包括：

20、步骤s210：使用人体模型数据集渲染出的单张rgb图片，与对应的深度图作为训练对，通过神经网络resnet构成的图像生成网络分别训练与rgb图像对应的可见面深度图网络与不可见面深度图网络，得到rgb图与图像角度增加180度的深度图网络其中，gd表示训练完成的深度图网络，表示生成可见面深度图的网络，表示生成不可见面深度图的网络；基于训练的可见面深度图网络与不可见面深度图网络得到预测的可见面深度图和不可见面深度图；

21、步骤s220：基于预测的可见面深度图和不可见面深度图计算逐像素差值得到预测空间厚度图，将预测空间厚度图与第一模型和第二模型空间厚度图中对应像素厚度值做对比，确定z空间厚度和z空间位置；

22、步骤s230：使用厚度放缩算法放缩迁移部分的厚度，使第一模型和第二模型在z空间上相匹配。

23、进一步地，步骤s210中，训练可见面深度图网络与不可见面深度图网络时，特征匹配损失为：

24、

25、其中，g表示深度图网络中的生成器，dk表示深度图网络中的第k个判别器，rgb表示的是输入图片，deep表示的是对应的深度图，e(rgb，deep)表示与rgb和deep相关的计算函数，t表示神经网络总层数，ni表示神经网络每层的元素数量，表示的是输入真实深度图的判别器参数和输入生成深度图的判别器参数之间的:1损失。

26、进一步地，步骤s230中，计算第一模型的空间平均厚度ta，计算深度预测图与第一模型对应区域的平均厚度tad，第一模型缺失部分的预测厚度tal，通过比例计算获得第二模型迁移至第一模型部分的厚度tb2a，将第二模型对应部分的厚度转化为tb2a。

27、进一步地，步骤s300包括：将第二模型保留部分和第二模型迁移部分进行插值计算，插值公式为：

28、r＝x0*(1-p)+x1*p

29、其中，r为插值结果，x0、x1代表空间插值点，0＜p＜1是插值像素的偏移量，远离融合区域i个像素的偏移量为i/n，n代表融合范围的阈值。

30、进一步地，步骤s400包括：

31、步骤s410：去除离散三角形，通过标记主体模型，删除所有与主体网格不相连的顶点与边构成的三角形片元，得到连续的重建网格；

32、步骤s420：对模型进行重网格化，调整网格顶点位置，改变网格三角形在空间中面积大小存在较大差别的情况，使得空间中的网格三角形面积相等；

33、步骤s430：使用训练集中的三维模型渲染出的单张rgb图片，与对应的法向图作为训练对，通过resnet构成的图像生成网络分别训练与rgb图像对应的可见面法向图与不可见面法向图网络，得到rgb图与图像角度增加180度的法向图网络gn表示训练完成的法向图网络；

34、步骤s440：将重网格后的顶点输入到一个顶点微调神经训练网络中，输出微调后的顶点，不改变网格的拓扑结构，将网格进行微渲染，得到可见面与不可见面的穿衣人体法向图，将步骤s430预测的特征法向与渲染得到的法向计算l1损失，作为迭代优化的损失函数。

35、本发明具有如下有益效果：

36、一、本发明充分利用了深度学习的预测信息用于改进单张图像重建中人体姿态和宽松衣物不可兼得的问题。

37、二、本发明利用预测得到的可见面与不可见面深度图，得到模型空间位置并计算出厚度图，使用厚度图通过厚度放缩算法得到迁移部分的模型厚度，找到融合的空间位置与区域范围；借助人体预测深度图，使用边缘距离标记算法确定不同模型用于保留的相同区域和用于迁移融合的差异区域；

38、三、本发明对模型边缘插值融合，改善融合过程中两个模型边缘匹配度的方式，对具有重建优势的第一模型中的缺失部分利用第二模型中的相应重建出的部分进行重建部分迁移融合在保证原模型细节优化的效果上，对不足之处做出改善，使融合后的模型更加自然流畅。通过以上工作，有效改善了单张rgb图像进行人体重建时的重建效果和衡量精度。