物品转运装置和物品转运方法
【技术领域】
[0001]本发明涉及一种使用机器人来转运物品的物品转运装置和物品转运方法。
【背景技术】
[0002]已知如下一种系统:利用视觉传感器来检测由输送机搬运的多个物品，机器人基于所检测出的物品的位置信息，一边追随输送机的搬运动作一边将各个物品把持并转运到其它场所。
[0003]例如，日本专利公开公报平08-063214号公报(JPH08-063214A)公开了如下的视觉跟踪方法:利用视觉传感器来检测由输送机输送的工件，机器人基于所检测出的工件的位置，一边追随输送机一边把持工件。在该视觉跟踪方法中，在输送机处附设有用于获取工件输送量的脉冲编码器。视觉传感器在基于脉冲编码器的输出信号识别出进行了规定距离的工件输送的时间点，获取输送中的工件的图像。机器人控制器在基于脉冲编码器的输出信号识别出进行了规定距离的工件输送的时间点，开始机器人的跟踪动作。在跟踪动作中，机器人控制器考虑基于视觉传感器所获取到的图像而获得的工件的位置来在与工件一起移动的跟踪坐标系中对机器人进行控制，由此使机器人把持通过输送机正被输送的工件。
【发明内容】
[0004]在机器人基于视觉传感器所检测出的物品的位置信息、一边追随输送机的搬运动作一边将物品把持并转运的系统中，期望的是，不在输送机处附设编码器等移动量传感器，机器人就能够准确地掌握物品的当前位置来一边追随输送机一边把持物品。另外，在该系统中，期望的是，即使在视觉传感器进行检测后物品在输送机上发生了位置偏移的情况下、或者因物品彼此重叠等而存在未能被视觉传感器检测出的物品的情况下，机器人也能够一边追随一边把持这种物品。
[0005]本发明的一个方式是一种物品转运装置，该物品转运装置具备:输送机，其搬运物品；机器人，其将物品把持并转运；摄像部，其拍摄物品；图像处理部，其控制摄像部并且基于摄像部所拍摄到的图像的数据来检测物品；以及机器人控制部，其使用图像处理部所检测出的物品的信息来控制机器人，其中，图像处理部具备:物品检测部，其以拍摄和检测通过输送机的搬运动作而移动的多个物品的全部的第一周期来执行多个物品的拍摄和检测，获取全部物品各自的初始位置信息；以及物品跟踪部，其以短于第一周期的第二周期来执行通过输送机的搬运动作而移动的多个物品的拍摄和检测，以第二周期反复地获取多个物品各自的以初始位置信息为基准的移动位置信息，机器人控制部使用移动位置信息来控制机器人，使得机器人一边追随输送机的搬运动作一边将多个物品的各个物品把持并转运。
[0006]本发明的其它方式是一种机器人将通过输送机搬运的多个物品把持并转运的物品转运方法，在物品转运方法中，以拍摄和检测通过输送机的搬运动作而移动的多个物品的全部的第一周期来执行多个物品的拍摄和检测，获取全部物品各自的初始位置信息，以短于第一周期的第二周期来执行通过输送机的搬运动作而移动的多个物品的拍摄和检测，以第二周期反复地获取多个物品各自的以初始位置信息为基准的移动位置信息，使用移动位置信息来控制机器人，使得机器人一边追随输送机的搬运动作一边将多个物品的各个物品把持并转运。
[0007]根据一个方式所涉及的物品转运装置，在图像处理部的物品检测部获取到通过输送机搬运的物品的初始位置信息之后，图像处理部的物品跟踪部获取该物品的移动位置信息，机器人控制部使用移动位置信息来控制机器人，因此，不在输送机处附设编码器等移动量传感器，机器人就能够掌握通过输送机搬运的物品的当前位置来一边追随输送机一边把持物品M0因此，即使在难以将编码器等移动量传感器附设于输送机的状况下，也能够构建机器人一边追随输送机的搬运动作一边将各个物品把持并转运到其它场所的系统。而且，物品跟踪部以第二周期反复地获取各个物品的移动位置信息，因此，即使在物品检测部获取到物品的初始位置信息之后该物品在输送机上发生了位置偏移的情况下，物品跟踪部也能够跟踪该物品并更新移动位置信息，机器人能够根据更新后的移动位置信息掌握该物品的位置偏移后的当前位置来把持该物品。
[0008]根据其它方式所涉及的物品转运方法，起到与物品转运装置的上述效果同等的效果O
【附图说明】
[0009]本发明的目的、特征以及优点通过与附图相关联的以下的实施方式的说明会变得更进一步明确。在该附图中，
[0010]图1是示意性地表示一个实施方式所涉及的物品转运装置的结构的图，
[0011 ] 图2是示意性地表示物品转运装置的变形例的图，
[0012]图3是示意性地表示物品转运装置的其它变形例的图，
[0013]图4是示意性地表示物品转运装置的另一变形例的图，
[0014]图5是示意性地表示其它实施方式所涉及的物品转运装置的结构的图，
[0015]图6A是说明排列图案的一例的图，是表示按照排列图案排列的物品的图，
[0016]图6B是对图6A的排列图案进行定义的排列样式的图，
[0017]图7是表示机器人控制部的硬件结构的一例的框图，
[0018]图8是表示图像处理部的硬件结构的一例的框图，
[0019]图9是表示机器人控制部和图像处理部的硬件结构的其它例的框图，
[0020]图10是表示机器人控制部和图像处理部的硬件结构的另一例的框图，
[0021]图11是图5的实施方式中的机器人控制部和图像处理部的功能框图，
[0022]图12是示意性地表示物品的把持和转运作业的一例的图，
[0023]图13是说明物品的跟踪处理的一例的图，
[0024]图14是说明物品的跟踪处理的其它例的图，
[0025]图15是表示图像处理部的物品管理部的处理的流程图，
[0026]图16是表不图像处理部的物品跟踪部的处理的流程图，
[0027]图17是表不物品跟踪部的处理的细节的流程图，
[0028]图18是表不物品跟踪部的处理的细节的流程图，
[0029]图19是表不物品跟踪部的处理的细节的流程图，
[0030]图20是表示第一控制部的信息管理部的处理的流程图，
[0031]图21是表示信息管理部的处理的细节的流程图，以及
[0032]图22是表示信息管理部的处理的细节的流程图。
【具体实施方式】
[0033]下面，参照附图来说明本发明的实施方式。在所有附图中对于对应的结构要素标注共同的参照标记。
[0034]图1表示一个实施方式所涉及的物品转运装置10。物品转运装置10具备:输送机12，其搬运物品M ;机器人14，其将物品M把持并转运；摄像部16，其拍摄物品M ;图像处理部18，其控制摄像部16并且基于摄像部16所拍摄到的图像的数据来检测物品M ;以及机器人控制部20，其使用图像处理部18所检测出的物品M的信息来控制机器人14。
[0035]输送机12具有能够将多个物品M支承并向一个方向(图中箭头W方向)搬运的公知的输送构件以及连续或断续地驱动输送构件的公知的驱动机构。关于通过输送机12搬运的多个物品M，既可以是具有各种形状、尺寸、外观(颜色)等的物品混合存在，也可以是所有物品均具有相同的形状、尺寸、外观(颜色)等。另外，物品M也可以具有如水果、蔬菜类那样容易使输送机12的支承变得不稳定的形状。
[0036]多个物品M以不规则配置的方式放置在输送机12上并以该状态被搬运，并且被供给到机器人14的规定的作业区域(执行物品M的把持和拿起的区域)22 (以点划线表示)。此外，不规则配置是指完全没有意图排列成特定的形态而随意地放置的配置，是指如下的配置:在从正上方观察多个物品M时的二维扩展(例如摄像部16所获取的图像)中各个物品M呈现多样的位置、姿势。在本实施方式中，输送机12中未装备能够检测输送构件或驱动机构的位置、速度的编码器等移动量传感器。
[0037]机器人14能够具备从多关节型、龙门式(gantry type)、并联连杆型(parallellink type)等公知的各种机构部(即操纵器(manipulator))适当地选择出的机构部(未图示)以及从吸附型、握持型等公知的各种手适当地选择出的手(未图示)。机器人14配置于输送机12的侧方的规定位置处，以如下方式动作:机构部和手在机器人14的作业区域22内一边追随通过输送机12搬运的物品M—边将该物品M把持并拿起，进而转运到其它场所。在本实施方式中，机器人14具备一台机构部。
[0038]摄像部16具有涵盖输送机12的搬运方向上的一部分以及横切方向上的整体的预先决定的视场24 (以虚线表示)。机器人14的作业区域22位于视场24之中。摄像部16从正上方拍摄视场24内存在的物品M和输送机12来获取物品M和输送机12的二维图像数据。在本实施方式中，摄像部16具备一台照相机(以下也称为照相机16)。照相机16能够是数字照相机，例如能够任意地设定分辨率、拍摄范围。在本实施方式中，照相机16能够在对视场24的输送机搬运方向上游端的一部分24a进行拍摄的模式和对整个视场24进行拍摄的模式之间切换。照相机16经由照相机线缆26连接于图像处理部18。
[0039]图像处理部18使摄像部16拍摄视场24内的物品M和输送机12，适当地对摄像部16所获取到的二维图像数据进行图像处理，由此检测物品M的存在，并且获取各个物品M在预先决定的二维坐标系中的位置(坐标值)及姿势(旋转角度)的信息。图像处理部18所获取的后述的“位置信息”(初始位置信息、移动位置信息等)通常包含物品M的位置及姿势的信息，但是也有时“位置信息”可以不包含物品M的姿势的信息，例如物品M为圆形的情况。在本说明书中，将物品M的位置及姿势的信息以及物品M的位置的信息统称为“位置信息”。另外，图像处理部18也能够从摄像部16的拍摄数据中获取各个物品M的二维外形、颜色等信息(以下称为外观特征信息)。图像处理部18所获取到的物品M的位置信息能够作为图像显示在未图示的监视器上。
[0040]图像处理部18经由通信线缆28连接于机器人控制部20，能够将基于摄像部16的二维图像数据检测出的物品M的位置信息随时发送到机器人控制部20。或者，也能够如后所述那样将图像处理部18和机器人控制部20装备于一台共同的控制装置。
[0041]在输送机12中，能够定义以其搬运方向为X轴的二维的输送机坐标系(静止坐标系)30。在本实施方式中，机器人14能够按照输送机坐标系30下的指令在输送机坐标系30中进行动作。另外，图像处理部18通过使用输送机坐标系30进行摄像部16的校准，能够将检测出的物品M的位置信息用输送机坐标系30表示。机器人控制部20使用图像处理部18所检测出的物品M的位置信息来控制机器人14，使机器人14执行与手的形态相应的把持动作。
[0042]图像处理部18具备:物品检测部32，其以拍摄和检测通过输送机12的搬运动作而移动的多个物品M的全部的第一周期Tl来执行多个物品M的拍摄和检测，获取全部物品M各自的初始位置信息Dl ;以及物品跟踪部34，其以短于第一周期Tl的第二周期T2来执行通过输送机12的搬运动作而移动的多个物品M的拍摄和检测，以第二周期T2反复地获取多个物品M各自的以初始位置信息Dl为基准的移动位置信息D2。机器人控制部20使用移动位置信息D2来控制机器人14，使得机器人14 一边追随输送机12的搬运动作一边将多个物品M的各个物品M把持并转运。在本实施方式中，初始位置信息Dl和移动位置信息D2均以输送机坐标系30中的坐标值和旋转角度(或仅以坐标值)来表示。
[0043]物品检测部32具有以下功能:在摄像部16的视场24内最初识别并检测通过输送机12的搬运动作被供给到机器人14的作业区域22的多个物品M的各个物品M(以下也称为“初始检测”)。在本实施方式中，物品检测部32构成为在摄像部16的视场24的上游端部分24a中对物品M进行初始检测。第一周期Tl是摄像部16在视场24的上游端部分24a中至少能够将各个物品M的整体像拍摄一次的周期。
[0044]举个具体例，在视场24的上游端部分24a的沿输送机12的搬运方向W观察到的(即输送机坐标系30的X轴方向上的)长度为400mm、物品M的最大宽度为100mm、输送机12的搬运速度为200mm/s的结构的情况下，用于在从伴随输送机12的搬运动作而一个物品M的整体进入上游端部分24a的瞬间起到该物品M的一部分移出到上游端部分24a的外部为止的期间内将该物品M拍摄一次的第一周期Tl如以下那样。
[0045]Tl = (400 (mm)-100 (mm))/200 (mm/s) = 1.5 (s)
[0046]在上述具体例中，通过以上述第一周期Tl来拍摄由输送机12向作业区域22供给的多个物品M，能够在物品M存在于视场24的上游端部分24a的期间内拍摄全部物品M来进行初始检测，从而能够获取这些物品M各自的初始位置信息Dl。
[0047]物品跟踪部34具有以下功能:在摄像部16的视场24内继续识别并检测由物品检测部32进行初始检测后的多个物品M的各个物品M(以下也称为“跟踪”)。在本实施方式中，物品跟踪部34构成为在摄像部16的整个视场24中对物品M进行跟踪。第二周期T2是摄像部16在视场24中将各个物品M的整体像以不会发生与其它物品M之间的误检测的方式反复拍摄足以进行跟踪的次数的周期。
[0048]例如，认为为了不将以完全相同的姿势(旋转角度)并排接触地放置的两个物品M彼此误检测，应该在输送机12的搬运距离为物品M的最小宽度的一半以下的期间内使摄像部16拍摄各物品M来完成物品跟踪部34的检测。在该条件下，在前述的具体例中，在物品M的最小宽度为60mm的情况下，第二周期T2如以下那样。
[0049]T2 = (60 (mm)/2)/200 (mm/s) = 0.15 (s)
[0050]在上述具体例中，通过以上述第二周期T2来拍摄通过输送机12的搬运动作而移动的多个物品M，能够在视场24内反复拍摄这些物品M的各个物品M并以不会被误认作其它物品的方式进行跟踪，从而能够获取这些物品M各自的移动位置信息D2。此外，通过不以“物品M的最小宽度的一半”为条件而将第二周期T2缩短至与图像处理部18所具有的处理能力的极限相当的时间来进行设定，能够最大限度地提高移动位置信息D2的准确度，从而能够最大限度地提高机器人14 一边追随一边把持物品M的动作的精度。
[0051]在图像处理部18中，与物品检测部32以第一周期Tl进行的拍摄和检测(