专利名称：基于双目视觉的机器人目标识别与抓取系统及方法
技术领域：
本发明属于机器人技术领域，具体涉及的是一种基于双目视觉的机器人目标识别与抓取系统及方法。
背景技术：
在上世纪60年代开始，机器人应用的相关技术已经成为各大高校及企事业单位的研究重点。在发展初期，机器人主要在结构化的环境中，按照特定的模式帮助人们完成一些危险或者重复性较高的简单工作。但是，随着技术的发展以及人们日常生活需要的提高，机器人面临着非结构化、复杂化等一些问题的挑战。随着计算机技术以及控制技术的发展，机器人的智能化水平越来越高，能够在非结构化的环境中自主地完成一些工作，能够识别出目标物体，经过定位后能够到达目标物体所在的区域，抓取目标物体。原有的服务机器人的功能较为单一，不能满足人们家庭非结构化环境的应用需 求，且存在一定的技术缺陷。第一，原有的服务机器人的功能较为单一，往往只能完成一部分的工作。第二，原有的服务机器人不能自主导航到目标区域，往往需要人们设定路径。第三，原有服务机器人没有引入自由度较高的机械臂，且控制算法较为简单，不能完成相对复杂的动作。
发明内容
针对现有技术存在的缺陷，本发明的目的是提供一种基于双目视觉的服务机器人目标识别与抓取系统及方法，使机器人在一种非结构化的环境中为人们提供更加智能化的服务。本发明中机器人可以通过视觉、射频、超声等传感器与外部环境进行智能交互，可以识别并定位目标物体，能够通过导航系统自主到达目标物体所在的位置，并控制机械臂完成对目标物体的抓取任务。为了达到上述目的，本发明的技术方案是
一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于，所述服务机器人控制平台联接双目图像采集模块，RFID (Radio Frequency Identification)收发模块,底盘运动模块，壁障模块和机械臂控制模块。所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发装置为无源型射频标签，含有物品的位置、特征等信息；所述的底盘运动模块采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。—种基于双目视觉的服务机器人目标识别与抓取方法，采用上述系统进行操作，其特征在于，包括以下操作步骤
I)双目摄像机标定。利用平面模板法对双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值。2)机器人坐标系的搭建和目标物体坐标系的转换。以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值。3)目标识别与定位。采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值。4)控制机器人到达目标物体所在区域。通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通 过驱动底盘运动模块自主到达目标物体所在区域，在行走过程中机器人根据壁障模块躲避障碍物。5)控制机械臂抓取目标物体。到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确。要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。所述步骤I)双目摄像机的标定，采用平面模板法对双目摄像机进行标定，其具体步骤如下
①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式。②、借助8 X 8平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参数。③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值。双目摄像机的标定结果受光线、温度等环境因素的影响比较严重，因此在标定时需要多次标定取均值。在每次试验之前，需要重新对双目摄像机进行标定。所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下
①、根据任务特点，本发明以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值。②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离。③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值。在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，这就需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值。本步骤中头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。
所述步骤3)目标物体的识别和定位通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，其具体步骤如下
①、由于像素在RGB(Red-Green-Blue)颜色空间受光源种类、光照强度等因素的影响较严重，因此本发明在HSV(Hue-Saturation-Value)颜色空间内完成对目标物体的识别。在实验前要离线学习并记录目标物体颜色的HSV阈值信息。②、颜色空间的转换由于本发明采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换。从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如公式(I)所示
权利要求
1.一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于所述服务机器人控制平台(I)联接双目图像采集模块(2 )、RFID收发模块(3 )、底盘运动模块(6 )，壁障模块(4)和机械臂控制模块(5)； 所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发模块(3)为无源型射频标签，含有物品的位置和特征信息；所述的底盘运动模块(6)采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块(4)采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块(5)的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调动作。
2.一种基于双目视觉的服务机器人目标识别与抓取方法，采用根据权利要求I所述的基于双目视觉的服务机器人目标识别与抓取系统进行操作，其特征在于，包括以下操作步骤 1)双目摄像机标定利用平面模板法对双目图像采集模块(2)的双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值； 2)坐标系搭建和转换以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值； 3)目标识别与定位采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值； 4)自主导航和避障控制机器人到达目标物体所在区域，通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块(6)自主到达目标物体所在区域，在行走过程中机器人根据壁障模块(4)躲避障碍物； 5)控制机械臂抓取目标物体到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确；要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。
3.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤I)双目摄像机标定采用平面模板法对双目摄像机进行标定的具体步骤如下 ①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式； ②、借助8S平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参=数； ③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值； 双目摄像机的标定结果受光线和温度环境因素的影响比较严重，在标定时需要多次标定取均值；在每次试验之前，需要重新对双目摄像机进行标定。
4.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下 ①、根据任务特点，以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值； ②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离； ③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值； 在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值；头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。
5.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤3)目标物体的识别和定位通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，具体步骤如下 ①、由于像素在RGB颜色空间受光源种类、光照强度等因素的影响较严重，因此在HSV颜色空间内完成对目标物体的识别；在实验前要离线学习并记录目标物体颜色的HSV阈值信息； ②、颜色空间的转换由于采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换；从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如下式(I)所示
6.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤4)控制机器人通过导航系统自主到达目标物体所在区域，并在行进过程中借助壁障模块(4)躲避障碍物，其具体步骤如下 ①、在机器人底部安装RFID接收器，根据房间布局特点在地板上铺设无源RFID标签，为每个标签划分管辖区域，建立导航系统；将每个标签所管辖区域内物体的特征信息添加到导航系统数据库中，并建立从其中一个标签位置到达下一个标签位置的路径信息； ②、在机器人完成目标物体的定位后，根据目标物体的颜色特征信息在导航系统数据库中查找目标物体所在的区域，结合机器人当前所在的区域，记录机器人到达目标区域所要经过的标签ID，即机器人所要经过的路径； ③、机器人根据所在区域所属标签的指示信息，驱动底盘运动模块(6)自主到达下一个标签所在的位置，以此类推，到达目标物体所在区域的标签位置；在行走过程中，要实时处理机器人腹部和裙摆部传感器的信息，避开路径中的障碍物； 所述采用彩色图像分割的方法，即颜色识别法识别目标物体，因此在导航系统的数据库内仅记录了物体的颜色特征信息；由于房间内仅有独立的柱状障碍物，路况信息比较简单，机器人仅需要根据下一个标签的方向进行三次直角变向就可以顺利躲避障碍物，回到原来的路径。
7.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤5)为控制机械臂实现对目标物体的抓取机器人定位到目标物体后，根据导航系统自主到达目标物体所在的区域，然后控制机械臂完成对目标物体的抓取任务，其具体步骤如下 ①、利用D-H方法对机器人的6+1自由度机械臂进行建模，得到机械臂模型的逆解公式，即得到使机械臂末端到达空间中指定位置机械臂各个关节需要转动的角度； ②、机器人根据导航系统自主到达目标物体所在的区域后，还需要经过所述步骤3)的过程，重新识别出目标物体，并计算出目标物体在机器人坐标系中的坐标值； ③、根据计算得到的坐标值，通过驱动底盘运动模块(6)使机器人行走到目标物体所在的位置；根据实验过程中积累的经验，机器人与目标物体的距离在一定范围之内时，得到的目标物体的坐标值最精确，离线学习并记录达到这个距离时得到的图像中目标物体轮廓大小的阈值；在机器人靠近目标物体时，不断调整机器人与目标物体的距离，使得到的图像内目标物体的轮廓大小在阈值范围之内；在这种情况下，计算得到目标物体在机器人坐标系中的坐标值；④、机器人如果完成抓取目标物体的任务，需要使机械臂末端夹持器的坐标值等于目标物体的坐标值；将该坐标值代入机械臂模型逆解公式，得到使夹持器完成对目标物体的抓取时机械臂各个关节需要转动的角度；夹持器到达目标物体位置后，驱动夹持器闭合，完成对目标物体的抓取任务； 由于机器人夹持器上没有安装压力传感器，因此机器人只能在开环控制模式下抓取指定宽度的物体；在机器人顺利抓取到目标物体后，根据需要指示机器人进行下一步动作，比如回到起始点、或者把目标物体放到指定位置。
全文摘要
本发明公开了一种基于双目视觉的服务机器人目标识别与抓取系统及方法。本系统包括双目图像采集模块、RFID收发模块、底盘运动模块、避障模块、机械臂控制模块。基于双目视觉的服务机器人目标识别与抓取方法，包括以下步骤(1)双目摄像机标定；(2)坐标系搭建及转换；(3)目标识别与定位；(4)自主导航和避障；(5)控制机械臂抓取目标物体。本发明能够让机器人与环境进行智能交互，增强了机器人智能抓取的能力。除了对目标物体的识别和定位，还建立了导航数据库，机器人在定位目标物体后能够自动到达物体所在的区域；本发明对仿人机械臂控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。
文档编号G05D1/02GK102902271SQ20121040569
公开日2013年1月30日 申请日期2012年10月23日 优先权日2012年10月23日
发明者晁衍凯, 徐昱琳, 周勇飞, 吕晓梦, 王明 申请人:上海大学