一种基于双目立体视觉的机器人拆垛方法
【专利摘要】本发明公开了一种基于双目立体视觉的机器人拆垛方法，包括以下步骤：利用固定在工作区正上方的双目相机同时获得左右眼视野内的图像，利用形状模板匹配的方法进行目标定位，得到相机坐标下的三维坐标；进行相机坐标系与机器人基座坐标系间的转换；根据检测出的目标坐标，进行深度信息的排列、进行分层拆垛。本发明直接通过双目成像采集、利用双目图像实现对拆垛区产品的目标识别和三维定位，进而实现对产品的自动化拆垛任务，可有效解决人工拆垛劳动强度大，效率低的问题。
【专利说明】一种基于双目立体视觉的机器人拆垛方法
【技术领域】
[0001] 本发明涉及一种基于双目立体视觉的机器人拆垛方法。
【背景技术】
[0002] 目前国内外在产品贮运系统中已普遍采用自动化码垛系统，能够将产品直接堆放 至托盘，然后通过叉车堆存至袋装库。但是需要将产品出库外运时候，通常还是通过人工从 托盘上取出产品，然后再进行装车。人工拆垛劳动强度大，效率低下。随着我国经济的快速 发展以及人们生活水平的提高，近年来我国也逐步出现了劳动力短缺的现象，特别是粗、笨 活劳动力更是短缺。
[0003] 因此急需配置一种自动化、智能化的拆垛设备与方法解决生产与运输的矛盾。
【发明内容】
[0004] 本发明为了解决上述问题，提出了一种基于双目立体视觉的机器人拆垛方法，该 方法通过双目成像采集、利用双目图像实现对拆垛区产品的目标识别和三维定位，进而实 现对产品的自动化拆垛任务，可有效解决人工拆垛劳动强度大，效率低的问题。
[0005] 为了实现上述目的，本发明采用如下技术方案：
[0006] 一种基于双目立体视觉的机器人拆垛方法，包括以下步骤：
[0007] (1)利用固定在工作区正上方的双目相机同时获得左右眼视野内的图像，利用形 状模板匹配的方法进行目标定位，得到相机坐标下的三维坐标；
[0008] (2)进行相机坐标系与机器人基座坐标系间的转换；
[0009] (3)根据检测出的目标坐标，进行深度信息的排列、进行分层拆垛。
[0010] 所述步骤（1)中，其具体步骤包括：
[0011] (1-1)通过固定在工作区正上方的双目相机同时获得左右眼视野内的图像，并对 其进行降噪处理；
[0012] (1-2)分别对双目相机的左右眼图像进行基于形状模板的匹配，得到左右眼图像 像素坐标；
[0013] (1-3)通过三角测量原理，将左右眼图像像素坐标转换为在相机坐标下的三维坐 标。
[0014] 所述步骤（1-2)中，单眼图像匹配的具体方法为：
[0015] a)离线条件下建立产品的形状模板，完成模板的注册，模板定义为点集Pi = (Xi, y)T和点集中的每个点对应的方向向量(Ii = (h，Ui)T, i = 1，2,…n，n为方向向量为非 零点的个数，方向向量由Sobel梯度算子计算得到；
[0016] b)在线模板匹配时，为待搜索图像中的每个点q= (x，y)T计算出一个方向向量ex, y = (Vx,y，Wx,y)T ;
[0017] c)在搜索图像的某个特定点处，模板与搜索图像之间的相似度测量定义为它们的 方向向量归一化的点积和s :
【权利要求】
1. 一种基于双目立体视觉的机器人拆垛方法，其特征是：包括以下步骤： (1) 利用固定在工作区正上方的双目相机同时获得左右眼视野内的图像，利用形状模 板匹配的方法进行目标定位，得到相机坐标下的三维坐标； (2) 进行相机坐标系与机器人基座坐标系间的转换； (3) 根据检测出的目标坐标，进行深度信息的排列，对处于顶层的目标物进行排序，确 定最后的拆垛顺序进行分层拆垛。
2. 如权利要求1所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤（1)中，其具体步骤包括： (1-1)通过固定在工作区正上方的双目相机同时获得左右眼视野内的图像，并对其进 行降噪处理； (1-2)分别对双目相机的左右眼图像进行基于形状模板的匹配，得到左右眼图像像素 坐标； (1-3)通过三角测量原理，将左右眼图像像素坐标转换为在相机坐标下的三维坐标。
3. 如权利要求2所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤（1-2)中，单眼图像匹配的具体方法为： a) 离线条件下建立产品的形状模板，完成模板的注册，模板定义为点集Pi = (Xi，yi)T和点集中的每个点对应的方向向量(Ii = (h，Ui)T, i = 1，2,…n，n为方向向量为非零点的 个数，方向向量由Sobel梯度算子计算得到； b) 在线模板匹配时，为待搜索图像中的每个点q = (x，y)T计算出一个方向向量ex,y = (vx,y，wx,y)T ; C)在搜索图像的某个特定点处，模板与搜索图像之间的相似度测量定义为它们的方向 向量归一化的点积和S :
其中，p' i = (X' i，y' i)T、d' i = (t' i，u' i)T分别为Pi、Cli经刚性变换或相似变换变换后 的坐标和方向向量；如果S大于一定的阈值，则该点对应的区域即被认为是一目标图像； d) 目标搜索：在双目相机左右眼图像上分别采用金字塔结构实施由粗到精的匹配策 略，并以尺度步长As和旋转角度步长△ e离散化搜索空间； e) 根据精度需要，在步骤d)检出的目标附近，采用基于Facet模型的方法对边缘点进 行亚像素定位，进而采用ICP(Iterative Closest Point)算法精化匹配结果，以获得高精 度的定位精度。
4. 如权利要求2所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤（1-3)的具体方法为： 根据目标在左右眼图像中的像素坐标（U1J1)和（h\)，通过三角测量原理可得其在 相机坐标下的三维坐标；
其中，X = [X Y Z]T为目标在相机坐标系下三维坐标，d = Ui_UM b为基线距离，c = [U1 V f]T,这里所用的相机为平行光轴双目相机,且左右相机参数相同，故有V1 = V1^ = Vd1 =fr = f O
5. 如权利要求1所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤 (2)的具体步骤包括： (2-1)把一标定参照物随机置于机器人工作空间内随机选取的n个位置，确保选取的 位置要在相机的拍摄范围内； (2-2)在每个位置由前述视觉定位模块计算出参照物在相机坐标系内的三维坐标 (Xc, Yc, Zc)； (2-3)让机器人手爪夹持一末端尖状物，操作机器人使尖状物末端轻触参照物的中心， 从机器人控制器的读数可知参照物在机器人坐标系下的三维坐标（I，乙，ZJ ; (2-4)因相机固定在机器人工作区域的上方，故（HZ。）和（X,，Y,，Z,)存在如下关 系：
(2-2)和（2-3)所得的n个数据带入方程⑶得3n个线性方程组； (2-5)利用最小二乘法求解线性方程组解出R和T。
6. 如权利要求1所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤（3)的具体方法包括： (3-1)对于检测出的n个目标物，首先对每个目标的深度信息进行由小到大排列，然后 进行判断是否在一层； (3-2)对目标物分层后，对处于顶层的目标物进行排序，确定最后的拆垛顺序，机器人 对目标物实施拆垛； (3-3)当机器人完成本层的拆垛任务后，返回步骤（1)，再次驱动双目相机进行双目图 像获取，依次进行。
7. 如权利要求6所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述 步骤（3-1)的详细步骤为：对于检测出的n个目标物IOBJ1, OBJ2，…，OBJj，其坐标分别为 (X1JdZ1), (X2, Y2, Z2),…（Xn，Yn，Zn)，首先对每个目标的深度信息进行由小到大排列，然后 进行判断；如果IZi-ZjI彡入H(i = 1，2, --?!!，j > i)，则第i个和第j个为同层目标物，否 则为两个目标物处在不同层。其中H为目标物厚度，A为系数。
8. 如权利要求6所述的一种基于双目立体视觉的机器人拆垛方法，其特征是：所述步 骤（3-2)的具体步骤为：对目标物分层后，对处于顶层的目标物按一定的次序进行排序，确 定最后的拆垛顺序：IOBJ1, OBJ2，…OBJJ，并将其三维坐标传给机器人运动控制器，机器人 控制器驱动机器人末端执行器运动到上述位置进行抓取，并给出释放位置后，即可实现对 目标物的拆垛任务。
【文档编号】G06T17/00GK104331894SQ201410665285
【公开日】2015年2月4日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】范新建, 侯宪伦, 刘晓刚, 刘广亮, 王学林, 肖永飞 申请人:山东省科学院自动化研究所