一种基于二维和三维摄像机融合的三维视觉信息获取方法
【专利摘要】本发明公开了一种基于二维和三维摄像机融合的三维视觉信息获取方法，该方法基于二维摄像机和三维摄像机组成复合摄像机分别对场景同步成像，通过建立三维摄像机深度图像和二维摄像机图像的匹配映射模型，求取三维摄像机深度图像像素点在二维摄像机图像中的匹配映射点和映射区域；对二维摄像机图像中的映射区域进行三角分解，并基于邻接的映射点深度信息建立三角剖分区域的深度曲面插补函数；插补计算三角剖分区域内图像像素点的深度信息，实现高分辨率二维摄像机图像对应深度图像的获取。本发明最大程度保留了二维摄像机图像信息和三维摄像机深度信息，并具有精度高和信息缺失小等优势，可广泛应用于工业视觉测量、视觉装配、机器人视觉导航等领域。
【专利说明】一种基于二维和三维摄像机融合的三维视觉信息获取方法
【技术领域】
[0001]本发明涉及一种基于二维和三维摄像机融合的三维视觉信息获取方法。
【背景技术】
[0002]近年来,三维摄像机技术获得了飞速进展，出现了微软Kinect、Swiss-ranger的SR3000/4000为代表的三维摄像机，该类设备可同时获取场景目标二维图像和深度图像。但是目前三维摄像机的二维图像普遍存在分辨率低、成像质量差等局限，很难直接利用三维摄像机提供的二维图像进行后续的场景分析和目标识别处理。而目前传统二维摄像机具有成像清晰、分辨率高、畸变小优势，易于获取目标纹理、色彩特征。因此三维摄像机与传统二维摄像机信息具有良好的互补性。
[0003]文献[I]公布了一种基于复合摄像机的高质量三维彩色图像获取方法及装置，可同步获取场景三维信息对应的二维摄像机图像信息。但是该方法存在如下问题:1)由匹配映射模型产生的误差，在插补后的深度图像进行映射投影后，会进一步放大；2)三维摄像机深度图像对应的彩色场景信息，是基于映射点周围图像信息的近似估计，从而造成场景原二维摄像机图像的部分信息缺失，限制了匹配映射二维图像的精度和质量。因此，上述方法一定程度上制约了三维视觉信息的精度和可靠性。
[0004]如何完整保留三维摄像机与传统二维摄像机获取的原始信息，并实现两者的匹配融合，以提高场景目标三维视觉信息的质量和精度，是本领域急需解决的技术问题。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种基于二维摄像机和三维摄像机融合的三维视觉信息获取方法，该方法将三维摄像机与二维摄像机对同一场景同时获取的成像信息进行融合匹配，具有三维视觉测量信息精度高、场景二维图像信息无缺损等优势。
[0006]一种基于二维和三维摄像机融合的三维视觉信息获取方法，包括以下几个步骤:
[0007]步骤1:对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M3d、二维摄像机内参数矩阵M2d、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T ；
[0008]步骤2:建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像Cl的映射模型；
[0009]步骤3:按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像Cl中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获得的图像Cl与三维摄像机同步获得的空间信息的融合；
[0010]所述步骤2中的映射模型为以下公式:
【权利要求】
1.一种基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，包括以下几个步骤: 步骤1:对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M3d、二维摄像机内参数矩阵M2d、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T ； 步骤2:建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像Cl的映射模型； 步骤3:按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像Cl中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获得的图像Cl与三维摄像机同步获得的空间信息的融合； 所述步骤2中的映射模型为以下公式:
三维摄像机的深度图像DI中任一像素点P3D(u3D，V3D)，根据上述公式求得像素点P3D (u3D, v3D)在二维摄像机获得的二维彩色图像中对应匹配点p2D的图像坐标值(u2D，v2D)，以及该像素点对应的深度信息Zf ； Zf为三维摄像机获得的深度图像DI中的任一像素点(u3D，v3D)的深度图像值，力M3d的逆矩阵，Rt为R的转置矩阵，Tt为T的转置矩阵； 所述步骤3的具体方法为: 步骤a:获取待插补区域IR; 按照步骤2建立的映射模型将三维摄像机获取的深度图像DI映射在二维摄像机获取的二维彩色图像Cl中的映射点集合Pik所在的最小矩形区域IR作为待插补区域，即:
IR = Cl [Xmin: Xmax, Ymin: YmaJ 其中，待插补区域IR中的像素点坐标为(uIE, vIE)，Xmin = Min [PIE.uj，Xmax = Max[PIE.uIE]，Ymin = Min[PIE.vIE]，Ymax = Max[PIE.vIE]，Pie为三维摄像机获得的深度图像DI中的像素点在二维摄像机获得的二维彩色图像Cl中对应的映射点集亡/5 步骤b:对待插补区域IR进行三角分解； 从映射点集合Pik中选取三个相邻且不共线的三个点构成一个三角剖分区域^ =，对待插补区域IR中的存在的所有三角剖分区域，按从左到右、从上至丨J下顺序排序获得三角剖分区域集合严,Tf ,...,Tf，...,$}，K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域； 步骤c:计算三角剖分区域Tf对应的深度曲面插补函数SFk ；
其中，Ck(X) = Cc^C1UWC2Vik，是二元线性多项式;X = (UIK，VIK)为待插补区域IR中的图像像素点；PiU = I,2,...,Λ0为三角剖分区域7f的深度插补函数SFk(X)的插补采样点，分别对应三角剖分区域的三个角点am Pt)以及分别与三个角点直接邻接的映射点，N为插补样本点数目= 1，2，L，N)为待求解的加权系数，(xkj，ykj)为插值节点= 1,2,…,Λ0在二维图像中图像坐标值，根据步骤2中的映射公式计算获得；Zkj为插值节点= 2,...,#)在三维图像中对应匹配图像点的深度信息，
为欧式范数，P是径向基函数，实现二维空间IR2到一维空间IR的固定映射； 依据以下的插值约束条件求解深度曲面插补函数SFk:
步骤d:计算待插补区域中像素点对应的空间三维信息； 对于任一三角剖分区域范围内的二维摄像机图像素点= G，其对应的空间三维信息计算如下:
即三角剖分区域:中的二维摄像机获得的二维图像素点
对应的空间三维信息为
2.根据权利要求1所述的基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，所述径向基函数为
3.根据权利要求2所述的基于二维和三维摄像机融合的三维视觉信息获取方法，其特
征在于，所述M2d为二维摄像机的内参数矩阵
M3d为三维摄像机的内参数矩阵:
R为二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵:
T为空间平移关系变换矩阵
其中办'?f =/3β/4ν3' f3D为三维摄像机焦距，dx3D，dy3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；《uW，vu3°分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值； 其中《f =fD I dx1D ,of =f2D/dy2D ；严为二维摄像机焦距，dx2D, dy2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；wf ,vf分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值。
【文档编号】G06T3/40GK104134188SQ201410364765
【公开日】2014年11月5日 申请日期:2014年7月29日 优先权日:2014年7月29日
【发明者】余洪山, 赵科, 蔺薛菲, 王耀南, 孙炜, 朱江, 段伟, 代扬, 万琴, 段峰, 谢久亮, 周鸿飞 申请人:湖南大学