基于单目摄像头的虚拟穿戴方法及系统的利记博彩app
【技术领域】
[0001]本发明涉及图像处理和虚拟穿戴技术领域，特别涉及一种基于单目摄像头的虚拟穿戴方法及系统。
【背景技术】
[0002]目前国内所有的做虚拟试衣间项目的技术公司都是基于微软的Kinect来实现的PC(个人计算机)版本的虚拟试穿试戴技术。但是，目前人们对移动终端的使用频率越来越高，还没有出现一种可以适用于移动端的虚拟穿戴技术。
[0003]此外，现有的虚拟穿戴技中使用的人脸识别技术，采用常规人脸标注点拟合算法比如ASM是求解全局标注点的最优解，在某些局部标注点会出现定位不准确或者错误。具体表现就是能识别脸部五官大体位置但在某些五官边界判断上和输入有一定偏差。而且传统方法在提高五官边界拟合的精度时通常采用增加标注点数量的方法。这种方法存在以下两个问题:一是该方法提升的效率有限，二是会导致识别速度下降和训练成本上升。
[0004]并且，传统的2D到3D的裁剪办法是将3D模型渲染到一张纹理上，即3D模型2D栅格化，形成一张2D纹理。然后与通过面部构边算法所形成的测试纹理进行2D纹理间的ALPHA测试，达到裁剪的目的。传统方法设计复杂，效率低下，需要两次以上的渲染流程，且会出现效果不一的纹理锯齿。
【发明内容】
[0005]本发明的目的旨在至少解决所述技术缺陷之一。
[0006]为此，本发明的目的在于提出一种基于单目摄像头的虚拟穿戴方法及系统，可以利用单目摄像头采集包括人体图像在内的深度场景信息，通过人体骨骼定位、人脸识别技术和3D渲染技术，跨平台实现实时渲染。
[0007]为了实现上述目的，本发明一方面的实施例提供一种基于单目摄像头的虚拟穿戴方法，包括如下步骤:
[0008]步骤S1，利用单目摄像头捕捉场景深度图像，对所述场景深度图像进行人体骨骼定位，获取所述用户的头部位置信息；
[0009]步骤S2，根据获取的所述头部位置信息，对人体面部特征进行比对以判断是否存在人脸，如果存在则结合预设人脸形状模型和人脸纹理模型确定人脸区域，在所述人脸区域中提取人脸特征向量；
[0010]步骤S3，对所述人脸特征向量实时进行3D渲染，绘制对应的3D穿戴模型；
[0011]步骤S4，向所述用户显示所述3D穿戴模型中的人体与虚拟场景叠加形成的虚实结合影像。
[0012]进一步，在所述步骤S1中，所述对场景深度图像进行人体骨骼定位，包括如下步骤:
[0013]从所述场景深度图像中提取单帧深度图像，将所述单帧深度图像与预设的人体骨骼特征集进行匹配，并在匹配成功后，计算人体的骨骼特征和人体中心位置向量；
[0014]根据所述人体的骨骼特征和人体中心位置向量获取所述用户的头部位置信息。
[0015]进一步，在所述步骤S2中，所述人体面部特征包括:肤色及面部几何特征。
[0016]进一步，在所述步骤S2中，所述确定人脸区域，包括如下步骤:将人脸图像与预设人脸形状模型和人脸纹理模型进行匹配，获取面部标记点以确定人脸区域，
[0017]根据所述人脸区域计算所述面部标记点变化姿态中的位移、转动、尺寸变化的三维向量作为所述人脸特征向量。
[0018]进一步，在所述步骤S3中，所述对所述人脸特征向量实时进行3D渲染，包括如下步骤:
[0019]根据获取的所述人脸区域，依次调整世界坐标系、监视矩阵和正交投影矩阵，绘制全透明遮挡模型；
[0020]调整Alpha混合因子，绘制所述3D穿戴模型。
[0021]本发明还提出一种基于单目摄像头的虚拟穿戴系统，包括:单目摄像头、控制装置和显示装置，其中，所述单目摄像头用于捕捉场景深度图像，并将所述场景深度图像发送至所述控制装置；所述控制装置用于对所述场景深度图像进行人体骨骼定位，获取所述用户的头部位置信息，并根据所述头部位置信息对人体面部特征进行比对以判断是否存在人脸，如果存在则结合预设人脸形状模型和人脸纹理模型确定人脸区域，在所述人脸区域中提取人脸特征向量，再对所述人脸特征向量实时进行3D渲染，绘制对应的3D穿戴模型；所述显示装置用于向所述用户显示所述3D穿戴模型中的人体与虚拟场景叠加形成的虚实结合影像。
[0022]进一步，所述控制装置从所述场景深度图像中提取单帧深度图像，将所述单帧深度图像与预设的人体骨骼特征集进行匹配，并在匹配成功后，计算人体的骨骼特征和人体中心位置向量，进而获取所述用户的头部位置信息。
[0023]进一步，所述人体面部特征包括:肤色及面部几何特征。
[0024]进一步，所述控制装置用于将人脸图像与预设人脸形状模型和人脸纹理模型进行匹配，获取面部标记点以确定人脸区域，根据所述人脸区域计算所述面部标记点变化姿态中的位移、转动、尺寸变化的三维向量作为所述人脸特征向量。
[0025]进一步，所述控制装置用于根据获取的所述人脸区域，依次调整世界坐标系、监视矩阵和正交投影矩阵，绘制全透明遮挡模型，调整Alpha混合因子，绘制所述3D穿戴模型。
[0026]根据本发明实施例的基于单目摄像头的虚拟穿戴方法及系统，利用单目摄像头采集包括人体图像在内的深度场景信息，通过人体骨骼定位、人脸识别技术和3D渲染技术，跨平台实现实时渲染，将人体与虚拟场景进行叠加，形成虚实结合图像，从而可以提升用户在服饰网购的体验度，用户在线选购服饰类产品的时候，可以实现如同现实中照镜子一样的在线进行试穿试戴效果，可以很好的看到颜色和款式适不适合自己，完美的解决了网购中“我”穿的好不好看的问题。方法提升的效率有限，二是会导致识别速度下降和训练成本上升。并且，本发明运用2D影像裁剪3D模型的方法，实现自身遮挡，从而全面展示穿戴后的效果，整个过程简单高效，单次成像，不会出现纹理锯齿。
[0027]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0028]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0029]图1为根据本发明实施例的基于单目摄像头的虚拟穿戴方法的流程图；
[0030]图2为根据本发明实施例的人体识别的流程图；
[0031]图3为根据本发明实施例的人体骨骼筛选和面部定位的流程图；
[0032]图4为根据本发明实施例的面部识别的流程图；
[0033]图5为根据本发明实施例的五官精准拟合的流程图；
[0034]图6为根据本发明实施例的运用2D影像裁剪3D模型的流程图；
[0035]图7为根据本发明实施例的3D模型姿态控制和渲染的流程图；
[0036]图8为根据本发明实施例的单目摄像头下的虚拟试穿试戴的流程图；
[0037]图9为根据本发明一个实施例的基于单目摄像头的虚拟穿戴方法的具体流程图；
[0038]图10为根据本发明另一个实施例的基于单目摄像头的虚拟穿戴方法的具体流程图；
[0039]图11为根据本发明实施例的基于单目摄像头的虚拟穿戴系统的结构图。
【具体实施方式】
[0040]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0041]如图1所示，本发明实施例的基于单目摄像头的虚拟穿戴方法，包括如下步骤:
[0042]步骤S1，利用单目摄像头捕捉场景深度图像，对该场景深度图像进行人体骨骼定位，获取用户的头部位置信息。
[0043]在本发明的实施例中，对场景深度图像进行人体骨骼定位，包括如下步骤:
[0044]从场景深度图像中提取单帧深度图像，将单帧深度图像与预设的人体骨骼特征集进行匹配，并在匹配成功后，计算人体的骨骼特征和人体中心位置向量。然后根据人体的骨骼特征和人体中心位置向量获取用户的头部位置信息。
[0045]图2为根据本发明实施例的人体识别的流程图。
[0046]步骤S201，开始录制。
[0047]步骤S202，捕捉深度图像信息。
[0048]从单目摄像头录制的图像中，获取场景深度图像。
[0049]步骤S203，结束录制。
[0050]步骤S204，获取深度特征。
[0051]从场景深度图像中提取单帧深度图像，获取深度特征。
[0052]步骤S205，输入深度特征数据集。
[0053]其中，该深度特征数据集即为人体骨骼特征集。
[0054]具体地，预定义多套人体部位与姿势的深度图像局域梯度特征表，制定该特征表时，用28维特征向量来描述人体共20根骨骼的关键点。
[0055]步骤S206，开始特征匹配。
[0056]将深度特征与人体骨骼特征进行匹配。
[0057]步骤S207，结束特征匹配。
[0058]步骤S208，判断是否匹配成功后，如果是，则执行步骤S209和S210，否则执行步骤S204。
[0059]步骤S209，获取人体中心位置向量。
[0060]步骤S210，获取人体骨骼点。
[0061]对提取的单帧深度图像进行子集查表，从而计算出人体包括头部的骨骼特征以及人体中心位