一种基于机械臂和结构光视觉的平面夹角在线测量方法与流程

本发明涉及计算机视觉测量技术领域，尤其是用于由结构光视觉实现平面夹角实时在线测量，为机器人自动焊接、切割、抓取等操作提供信息，具体为一种基于机械臂和结构光视觉的平面夹角在线测量方法。

背景技术：

在智能制造领域，常常需要在线获取工业制造对象的几何特征信息，以便于机械臂在焊接、切割、抓取时能准确地进行操作，在这些几何特征中，工件表面的夹角是一个比较重要的特征信息，如果能获取了工件表面的夹角，将有助于机械臂实时调整位姿，提高操作的精度和效率，并为确定操作空间、避免发生碰撞提供信息。

现有的三维检测装置，分为接触式和非接触式两类，其中接触式检测装置效率不高，且容易在物体表面产生划痕，因此，近年来以机器视觉为代表的非接触式三维检测装置得到了较多的研究与应用。

计算机视觉测量技术，以光学为基础，融光电子学、计算机技术、激光技术、图像处理技术等现代科学技术为一体，组成的光、机、电、计算机的综合测量系统。具有非接触、高速度、能满足实时性等诸多优点。国内外一些研究人员针对不同的应用场合，提出了一些基于计算机视觉的平面角度测量方法，如白福忠等在《角度的图像测量法》(计量学报，2007，28(4)：314-316)一文中提出利用相机在垂直于两待测平面边缘的位置，拍摄一幅图像，在图像中检测工件平面的边缘，再进行霍夫变换拟合出边缘直线，从而求得平面夹角，但是这种方法需要将相机移动到两平面边缘位置，拍摄图像时要保证相机与两平面边缘线所构成的平面相垂直，而这一要求增加了图像采集的难度，在有些场合很难实现；雷经发等在《基于计算机视觉的平面夹角测量方法》(华南理工大学学报(自然科学版)，2011，39(8)：54-59)一文中提出在两待测平面上分别贴上圆标记，采用预先标定的相机进行1次图像采集，即可测得两平面间的夹角，而这种方法需要预先在平面上增加特定标记，降低了测量的方便性和实时性。

技术实现要素：

针对上述问题，本发明提供了一种基于机械臂和结构光视觉的平面夹角在线测量方法，其可有效实现平面夹角在线测量，以及实时检测工业生产过程中两个平面构成的夹角。

其技术方案是这样的：

一种基于机械臂和结构光视觉的平面夹角在线测量方法，其包括机械臂、结构光视觉系统，与计算机连接的控制器控制连接所述机械臂，所述结构光视觉系统包括摄像机、结构光投射器，所述摄像机固定于所述机械臂末端，所述结构光投射器固定于所述摄像机一侧，其特征在于：所述结构光投射器投射于待测量的且构成夹角的两个平面表面上，所述结构光投射器采用线结构光投射器或者面结构光投射器，将所述机械臂末端与摄像机间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，然后对所述摄像机采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角。

其进一步特征在于，所述结构光投射器采用线结构光投射器，其平面夹角在线测量方法的步骤是：

(1.1)图像采集：用控制器操纵机械臂末端，在至少两个不同的位姿上分别采集结构光图像，并记录机械臂末端位姿；

(1.2)光条直线拟合：对每一幅图像分别进行处理，提取光条中心点，并拟合成两条相交的光条直线段，得到光条直线段上的点和光条直线段的交点；

(1.3)平面拟合：根据系统标定结果，将各幅图像中的光条直线段上的点变换到统一的坐标系中，由交点左侧的光条直线段的点集，拟合得到一个平面的方程，由交点右侧的光条直线段的点集，拟合得到另一个平面的方程；

(1.4)夹角求取：根据所述步骤(1.3)中的两个平面的法向量，求得两个平面的夹角；

所述结构光投射器采用多线结构光投射器，其平面夹角在线测量方法的步骤是：

(2.1)图像采集：用控制器操纵机械臂末端，采集一幅结构光图像；

(2.2)光条直线拟合：对图像进行处理，提取光条中心点，根据结构光的线条数和模式的不同，拟合成若干条光条直线，得到光条直线段上的点，并进一步求得构成夹角的两个平面的交线上的点，从而计算出交线；

(2.3)平面拟合：根据系统标定结果，将图像中的光条中心线上的点变换到摄像机坐标系中，并由交线左侧的点和右侧的点分别拟合得到两个平面方程；

(2.4)夹角求取：根据所述步骤(2.3)中的两个平面的法向量，求得两个平面的夹角。

本发明的有益效果是，通过将结构光视觉系统固定在机械臂末端，作为检测与测量的机器视觉装置，在结构光视觉系统，及其与机械臂末端之间的位姿关系预先标定的基础上，在机械臂开始工作之前和工作过程中，由结构光视觉系统实时采集结构光投射在两个平面上图像，可实时图像处理并测量出两个平面构成的夹角。

附图说明

图1是基于结构光视觉的机械臂结构示意图；

图2是不同类型结构光投射器的工作示意图；

图3是单线结构光平面夹角在线测量的流程图；

图4是多线结构光或者面结构光平面夹角在线测量的流程图。

具体实施方式

如图1～图4所示，一种基于机械臂和结构光视觉的平面夹角在线测量方法，其包括机械臂3、结构光视觉系统，控制器5控制连接机械臂3，计算机连接控制器5，线结构光视觉系统包括摄像机4、结构光投射器6，摄像机4是用于采集结构光投射图像，并将图像传送给由计算机软硬件构成的图像处理系统，摄像机4固定于机械臂3末端，结构光投射器6固定于摄像机4一侧，结构光投射器6投射于待测量的且构成夹角的两个平面表面上，作为检测与测量的机器视觉装置，结构光投射器6采用线结构光投射器或者面结构光投射器，将机械臂3末端与摄像机4间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，机械臂3末端与摄像机4间的关系矩阵，也就是手眼关系矩阵；然后对摄像机4采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角。

系统参数预先标定：

摄像机内部参数矩阵：

其中，f_u、f_v分别为u轴和v轴的尺度因子，f_s是u轴和v轴的不垂直因子，(u₀,v₀)为主点坐标；

在摄像机坐标系中的结构光平面方程：

ax+by+cz+1＝0 (2)

其中，a、b、c为结构光平面方程的参数；

摄像机相对于机器人末端的手眼关系矩阵为：

其中，R_m为旋转矩阵，p_m为平移矩阵，n为法向矢量，o为方位矢量，a为接近矢量，p为位置矢量；

如图2(a)中，结构光投射器6采用线结构光投射器，即采用单线结构光投射器，其平面夹角在线测量方法的步骤具体是：

(1.1)图像采集：用控制器操纵机械臂末端，以两个不同的位姿，分别采集一幅结构光图像，并记录机械臂末端位姿分别为T_e1和T_e2，则由位姿1到位姿2的变换矩阵为T_e12＝T_e2T_e1¹，由位姿2到位姿1的变换矩阵为T_e21＝T_e1T_e2¹；

(1.2)光条直线拟合：对每一幅图像分别进行处理，提取光条中心点，并采用最小二乘法拟合成两条相交的光条直线段l_i1和l_i2，其中下标i表示图像的序号，直线段的交点O_i为两个平面交线上的点，交点左侧的直线段为l_i1，交点右侧的直线段为l_i2；

(1.3)平面拟合：

(1.3.1)坐标变换：根据系统标定结果，求得各幅图像中的光条直线段上的点在某一位姿下摄像机坐标系中的三维坐标，具体方法是：

设光条直线段上的点p在摄像机中图像坐标(u，v),可以计算点p在摄像机的焦距归一化成像平面上的成像点p_c＝(x_c，y_c)的坐标：

空间点p也在摄像机的光轴中心点与p_c构成的直线上，即符合方程

从物体表面激光条纹上取得的特征点，必然在激光平面上，同时还在摄像机的光轴中心点与成像平面上的成像点之间的一条直线上，利用该直线方程和激光平面方程，可解出特征点在摄像机坐标系下的三维坐标，将式(5)代入式(2)得

进一步求得其在机器人末端坐标系下的坐标(x_e，y_e，z_e)

再将不同的位姿下的点利用位姿变换矩阵变换到统一的坐标系中；

(1.3.2)将交点左侧的光条直线段上的点组成一个点集P₁，由点集P₁采用最小二乘法拟合得到平面α，其方程为：a₁x+b₁y+c₁z+1＝0；

(1.3.3)将交点右侧的光条直线段上的点组成一个点集P₂，由点集P₂采用最小二乘法拟合得到另一平面β，其方程为：a₂x+b₂y+c₁z+1＝0；

(4)夹角求取：根据两个平面的法向量和求得两个平面的夹角θ为：

夹角θ存在两个解，一个为其本身，另一个为其补角，则在工业生产过程中，可以通过先验证判断其值为哪一个。

如图2(b)中，结构光投射器6采用多线结构光投射器，或者如图2(c)中，结构光投射器6采用面结构光投射器，面结构光投射器也即模式结构光投射器，两者平面夹角在线测量方法的步骤均是：

(2.1)图像采集：用控制器操纵机械臂末端，采集一幅结构光图像；

(2.2)光条直线拟合：对图像进行处理，提取光条中心线，拟合成若干条光条直线段，并根据多线结构光或面结构光的特点，确定光条中心线的交点O_i，这些交点为构成夹角的两个平面交线上的点，由这些点得到两个平面的交线，将交线左侧的直线段记为l_i1，交线右侧的直线段记为l_i2，其中下标i表示直线段的序号；

(2.3))平面拟合：

(2.3.1)坐标变换：根据系统标定结果，将图像中的光条直线段上的点变换到摄像机坐标系中，

具体方法是：

设光条直线段上的点p在摄像机中图像坐标(u，v)，可以计算点p在摄像机的焦距归一化成像平面上的成像点p_c＝(x_c，y_c)的坐标：

空间点p也在摄像机的光轴中心点与p_c构成的直线上，即符合方程

从物体表面激光条纹上取得的特征点，必然在激光平面上，同时还在摄像机的光轴中心点与成像平面上的成像点之间的一条直线上，利用该直线方程和激光平面方程，可解出特征点在摄像机坐标系下的三维坐标，将式(10)代入式(2)得

(2.3.2)将交线左侧的光条直线段上的点组成一个点集P₁，由点集P₁采用最小二乘法拟合得到平面α，其方程为：a₁x+b₁y+c₁z+1＝0；

(2.3.3)将交线右侧的光条直线段上的点组成一个点集P₂，由点集P₂采用最小二乘法拟合得到另一平面β，其方程为：a₂x+b₂y+c₁z+1＝0；

(2.4)夹角求取：根据两个平面的法向量和求得两个平面的夹角θ为：

夹角θ存在两个解，一个为其本身，另一个为其补角，则在工业生产过程中，可以通过先验证判断其值为哪一个。

以及为了提高精度，可以在不同的位姿采用多幅图像，此种情况，在步骤(2.1)中要记录每处的机械臂末端位姿，在步骤(2.3.1)完成之后，要将不同的位姿下的点利用位姿变换矩阵变换到统一的坐标系中。