传输来的检测出托盘时的编码器52的检测值，来以机器人坐标系获得所探测到的托盘54的位置以及排列图案58的图案要素Pl?P4(图12)的坐标值及相对旋转角度。将全部图案要素Pl?P4的坐标值及相对旋转角度的信息暂时保持到信息管理部106A中，将未被第一机构部14A放置物品M的图案要素Pl?P4的信息作为前述的包γ的信息并经由通信网络传输到第二控制部20Β的信息管理部106Β。同样地，将信息管理部106Β中保持的图案要素Pl?Ρ4的信息中的未被第二机构部14Β放置物品M的图案要素Pl?Ρ4的信息作为前述的包γ的信息并经由通信网络传输到第三控制部20C的信息管理部106C。
[0091]如图11所示，图像处理部18除了具有物品检测部32、物品跟踪部34以及辅助跟踪部50以外，还具有条件设定部110和物品管理部112。在条件设定部110中，对作为检测或跟踪对象的物品M的教学模型图像、在物品检测中使用的参数(坐标值、旋转角度、尺寸等)、第一照相机?第三照相机16A、16B、16C(图5)的校准数据等用于进行物品M的检测、跟踪的诸条件进行设定。另外，条件设定部110能够通过与第一控制部20A的作业内容设定部102A进行通信来获取第一机构部?第三机构部14A、14B、14C的作业区域22A、22B、22C(图5)的信息。
[0092]物品检测部32在从作业开始起输送机12(图5)移动了预先决定的时间时，使用第一照相机16A来开始物品M的初始检测。或者，也能够在光电管传感器等外部传感器(未图示)检测出输送机12移动了规定时间时，开始物品M的初始检测。物品检测部32能够使用以下方法等公知的各种检测算法来获取物品M的初始位置信息Dl (图5)，上述方法是:从第一照相机16A所拍摄到的图像搜索与预先登记的模型图像一致的图像来检测物品M(例如归一化互相关法)；从预先登记的模型图像提取物品M的轮廓，基于该轮廓的信息来求出第一照相机16A所拍摄到的图像上的物品M的位置信息(例如广义霍夫变换法)；通过在第一照相机16A所拍摄到的图像中提取具有预先登记的范围的面积的区域来求出物品M的位置信息(例如Blob检测法)。
[0093]物品检测部32当物品M的初始检测成功时，设定表不所检测出的物品M是新发现的物品的标志(以下称为新标志)，将新标志与所检测出的物品M的初始位置信息D1、拍摄到该物品M的第一照相机16A的照相机ID、该物品M的拍摄时刻、该物品M的新的物品ID之类的信息一起传输到物品管理部112。物品管理部112在将从物品检测部32接收到的这些信息传输到物品跟踪部34的同时，将接收到的上述信息作为前述的包α的信息传输到第一控制部20Α的信息管理部106Α。
[0094]物品跟踪部34在与从物品管理部112接收到的初始位置信息Dl对应的物品M进入第二照相机16Β的视场24 (图5)时，使用第二照相机16Β来开始该物品M的跟踪。另外，物品跟踪部34将从物品管理部112接收到的物品M的初始位置信息Dl作为初始值来进行该物品M的跟踪。利用物品检测部32进彳丁初始检测时对物品M赋予的固有的物品ID在物品跟踪部34中也维持原样。基于第二照相机16Β以极短的第二周期Τ2重复拍摄物品M而得到的图像数据，将本次拍摄时的诸信息(位置信息、外观特征信息)与上一次及上一次之前拍摄时的诸信息进行比较，由此以序贯的方式进行物品跟踪部34对物品M的跟踪。作为用于进行这种序贯的跟踪的检测算法，例如能够使用能够进行非线性/非高斯型的系统的估计的粒子滤波算法(也称为粒子过滤算法或序贯蒙特卡罗方法)(关于粒子滤波算法，例如参照“日本机器人学会志(日本口求、y卜学会誌)Vol.29，N0.5，pp427-430，2011”)。
[0095]物品跟踪部34将通过跟踪而获取到的物品M的最新的移动位置信息D2 (图5)、拍摄到该物品M的第二照相机16B的照相机ID、该物品M的拍摄时刻、该物品M的物品ID之类的信息以序贯的方式传输到物品管理部112。物品管理部112在将从物品跟踪部34接收到的这些信息传输到辅助跟踪部50的同时，将接收到的上述信息作为前述的包β的信息传输到第一控制部?第三控制部20A、20B、20C的信息管理部106A、106B、106C。
[0096]辅助跟踪部50在与从物品管理部112接收到的移动位置信息D2对应的物品M进入到第三照相机16C的视场46(图5)时，使用第三照相机16C来开始该物品M的跟踪。另外，辅助跟踪部50将从物品管理部112接收到的物品M进入到第三照相机16C的视场46 (图5)时的移动位置信息D2作为初始值来进行该物品M的跟踪。在由辅助跟踪部50进行的跟踪处理中，除了由第三照相机16C拍摄物品M以外，与上述的由物品跟踪部34进行的跟踪处理实质上相同。辅助跟踪部50将通过跟踪而获取到的物品M的最新的追加移动位置信息D3 (图5)、拍摄到该物品M的第三照相机16C的照相机ID、该物品M的拍摄时刻、该物品M的物品ID之类的信息以序贯的方式传输到物品管理部112。物品管理部112将从辅助跟踪部50接收到的这些信息作为前述的包β的信息传输到第一控制部?第三控制部20A、20B、20C 的信息管理部 106A、106B、106C。
[0097]作为用于物品跟踪的检测算法，物品跟踪部34和辅助跟踪部50也能够与物品检测部32同样地使用归一化互相关法、广义霍夫变换法、Blob检测法等公知的图案识别算法来代替前述的粒子滤波算法。在此，通常，相比粒子滤波算法而言，归一化互相关法、广义霍夫变换法、Blob检测法等的检测精度高，但处理速度慢。在物品跟踪处理中使用归一化互相关法、广义霍夫变换法、Blob检测法等的情况下，相比由物品检测部32在进行初始检测时使用这些方法的情况而言，通过缩小第二照相机16B和第三照相机16C所拍摄到的二维图像上的检测对象区域、检测用参数(坐标值、旋转角度、尺寸、面积等)的范围，能够避免跟踪所需的时间的增加。例如，在将旋转角度指定为检测用参数的情况下，通过物品检测部32不能清楚物品M的位置、姿势，因此例如在土 180度的范围内进行初始检测来获得物品M的初始位置信息D1，与此相对，在由物品跟踪部34和辅助跟踪部50使用归一化互相关法、广义霍夫变换法、Blob检测法等的情况下，在上一次跟踪的结果相对于初始检测不会发生大幅变化的前提下，能够缩小到±5度的范围来进行物品检测(跟踪)。
[0098]接着，参照图13来说明图像处理部18的物品跟踪部34 (图11)对物品M的跟踪处理的一例。此外，图像处理部18的辅助跟踪部50(图11)能够执行与物品跟踪部34所执行的下述跟踪处理同样的跟踪处理。
[0099]如图13所示，对于以不规则配置的方式被输送机12支承并搬运的多个物品M，第一机构部14A在任意的物品M存在于作业区域22A的期间内执行该物品M的把持和取出动作，第二机构部14B在任意的物品M存在于作业区域22B的期间内执行该物品M的把持和取出动作。另一方面，第二照相机16B以第二周期T2重复拍摄视场24内的全部物品M。在此，物品跟踪部34所进行的跟踪处理的计算负荷主要是由第二照相机16B所拍摄到的图像数据的大小、物品检测中使用的算法的种类、作为检测对象的物品M的个数以及物品检测用的参数的范围决定的。在假定要检测的物品M的个数和算法相同的情况下，通过降低图像数据的分辨率或缩小检测用的参数的范围来减轻物品跟踪部34的计算负荷。
[0100]第二照相机16B所拍摄到的图像数据的大小即分辨率会影响物品跟踪部34对物品M的检测精度，并影响由第一机构部14A和第二机构部14B进行的物品把持的动作精度。实际上，在第一机构部14A和第二机构部14B的作业区域22A、22B的内部，要求高的检测精度和动作精度，另一方面，作业区域22A、22B的外部的检测精度与第一机构部14A和第二机构部14B的把持动作无关。因此，通过在第二照相机16B的视场24中的作业区域22A、22B的内部和外部使用分辨率不同的图像数据，能够减轻物品跟踪部34的计算负荷。
[0101]如图11所示，图像处理部18的条件设定部110与第一控制部20A的作业内容设定部102A进行通信，获取关于将第一机构部14A和第二机构部14B的作业区域22A、22B设定于输送机12的何处的信息，来作为输送机坐标系30中的位置信息。物品跟踪部34构成为:基于条件设定部110所获取到的作业区域22A、22B的信息，使用与所要求的检测精度对应的第一分辨率的图像数据来检测位于作业区域22A、22B的内部的物品M，另一方面，使用低于第一分辨率的第二分辨率的图像数据来检测位于作业区域22A、22B的外部的物品M0通过该结构，与针对第二照相机16B的整个视场24使用第一分辨率的图像数据来检测物品M的结构相比，能够减轻物品跟踪部34的计算负荷。此外，对于辅助跟踪部50，也能够通过同样的方法来减轻跟踪处理的计算负荷。
[0102]在上述结构中，物品跟踪部34构成为能够获取对第一机构部14A和第二机构部14B的作业区域22A、22B (图13)的内部进行拍摄而得到的第一分辨率(高分辨率)的图像数据以及对作业区域22A、22B的外部进行拍摄而得到的第二分辨率(低分辨率)的图像数据。同样地，辅助跟踪部50构成为能够获取对第三机构部14C的作业区域22C(图5)的内部进行拍摄而得到的第一分辨率的图像数据以及对作业区域22C的外部进行拍摄而得到的第二分辨率的图像数据。为了获取分辨率不同的图像数据，第二照相机16B或第三照相机16C能够具有将分辨率在第一分辨率和第二分辨率之间切换的切换机构114(图4)。在该结构中，第二照相机16B或第三照相机16C以第一分辨率和第二分辨率的各分辨率来拍摄视场24、46内的整体，物品跟踪部34或辅助跟踪部50能够使用第一分辨率的图像数据来检测位于作业区域22A、22B或作业区域22C的内部的物品M，另一方面，使用第二分辨率的图像数据来检测位于作业区域22A、22B或作业区域22C的外部的物品M。在第二照相机16B或第三照相机16C不具有切换机构114的情况下，第二照相机16B或第三照相机16C以规定的分辨率对视场24、46内进行拍摄，物品跟踪部34或辅助跟踪部50通过公知的图像处理使该拍摄数据的分辨率降低，由此能够获取第一分辨率的图像数据和第二分辨率的图像数据。
[0103]物品跟踪部34能够取代上述的分辨率的选择或者在上述的分辨率的选择的基础上构成为:从达到第一处理速度和第一精度的第一检测算法以及达到比第一处理速度快的第二处理速度或比第一精度低的第二精度的第二检测算法中选择任一方检测算法来使用。在该情况下，物品跟踪部34能够构成为:使用第一检测算法来检测位于第一机构部14A和第二机构部14B的作业区域22A、22B的内部的物品M，使用第二检测算法来检测位于作业区域22A、22B的外部的物品M0作为第一检测算法，能够采用归一化互相关法、广义霍夫变换法、Blob检测法等。作为第二检测算法，能够采用粒子滤波算法。辅助跟踪部50也能够同样地构成。
[0104]例如，物品跟踪部34基于使第二照相机16B以第二分辨率(低分辨率)拍摄整个视场24而得到的图像数据，使用第二检测算法(粒子滤波算法)来在整个视场24内检测物品M。在由物品跟踪部34进行的跟踪处理中，作为获取物品M的准确的移动位置信息D2的前阶段的预备性处理而进行该物品检测。接着，物品跟踪部34基于使第二照相机16B以第一分辨率(高分辨率)拍摄整个视场24而得到的图像数据中的、包含作业区域22A、22B且比作业区域22A、22B稍大的区域的图像数据，使用第一检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)来检测至少部分地存在于作业区域22A、22B的内部的物品M。在由物品跟踪部34进行的跟踪处理中，作为用于获取物品M的准确的移动位置信息D2的补充性处理而进行该物品检测。在使用第一检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)时，通过使用第二检测算法(粒子滤波算法)进行的预备性检测已将物品M的存在区域在规定的检测用参数(坐标值、旋转角度、尺寸、面积等)的范围内以某种程度进行了限定，因此能够通过相应地缩小检测用参数(坐标值、旋转角度、尺寸、面积等)的范围来避免跟踪所需的时间的增加。
[0105]即使对于存在于共同的作业区域22A、22B的内部的物品M，物品跟踪部34也能够使用处理速度、精度不同的检测算法来进行跟踪处理。例如，能够仅对于由第一机构部14A或第二机构部14B把持的可能性高的从搬运方向下游侧起的规定个数的物品M，使用第一(高精度的)检测算法来进行检测。例如，在具有由第一机构部14A或第二机构部14B的手同时把持两个物品M的结构的情况下，物品跟踪部34能够构成为在每次反复实施物品跟踪处理时仅高精度地检测从下游侧起的两个物品M0根据该结构，能够减少要检测的物品M的个数，从而减轻物品跟踪部34的计算负荷。
[0106]图1的物品转运装置10也能够具有与上述结构同样的结构。在物品转运装置10中，物品跟踪部34能够构成为:能够获取对由机器人14进行物品把持作业的作业区域22的内部进行拍摄而得到的第一分辨率的图像数据以及对作业区域22的外部进行拍摄而得到的且是比第一分辨率低的第二分辨率的图像数据，使用第一分辨率的图像数据来检测位于作业区域22的内部的物品M，使用第二分辨率的图像数据来检测位于作业区域22的外部的物品M。另外，在物品转运装置10中，物品跟踪部34能够构成为:能够从达到第一处理速度和第一精度的第一检测算法以及达到比第一处理速度快的第二处理速度或比第一精度低的第二精度的第二检测算法中选择任一方的检测算法来使用，使用第一检测算法来检测位于机器人14的作业区域22的内部的物品M，使用第二检测算法来检测位于作业区域22的外部的物品M。
[0107]接着，参照图14来说明图像处理部18的物品跟踪部34(图11)对物品M的跟踪处理的其它例。此外，图像处理部18的辅助跟踪部50(图11)能够执行与物品跟踪部34所执行的下述的跟踪处理同样的跟踪处理。
[0108]如图14所示，假设两个物品Ml、M2以在输送机12上相互重叠的状态被供给到第二机构部14B的作业区域22B的状况。设在该状况下、大部分被物品Ml遮盖的物品M2未被物品检测部32 (图11)初始检测出。关于未被初始检测出的物品M2，不将其包α的信息发送到第一控制部20Α(图11)，因此也不会创建包γ的信息，作为结果，第二控制部20Β(图11)未识别出物品M2的存在。另一方面，关于被物品检测部32初始检测出的物品Μ1，第二控制部20B基于包γ的信息而识别出其存在。