专利名称：基于摄像机监控具有移动机器部件的机器以防碰撞的利记博彩app
基于摄像机监控具有移动机器部件的机器以防碰撞
本发明涉及一种根据权利要求1和14的前序部分的用于基于摄H^ 监控具有移动机器部件的机器以防碰撞的方法和设备。
对于以相当大的iUL移动的现代工业机器人，碰撞通常既对机器人又 对它们所处理的工件引起严重的损坏。这可以导致代^h较大的生产停工。 与自动操作机器人进行交互的人员的安全也被给予最高的优先级。在具有 移动机器部件的现代工业机器人或其它机器中，移动机器部件的移动代表 对于人员和其它对象的危险，因此必须使用保护性设备来防止在移动机器 部件与对象之间发生碰撞。为此，在发生偶然接触之前通常足以使机器静 止。从关闭命令直到机器处于静止的时间被称为停止时间，停止时间确定 要保持远离机器的距离。
从现有技术已知用于防护机器部件的各种传感器和估测方法。最简单 的选择包括用固定笼来包围机器，所述固定笼的入口 (例如门)耦合到传 感器使得当进入笼时机器停止。如果在入口与移动机器之间存在足够的距 离，则在人员可以与机器形成接触之前，机器已经处于静止。
被布置在移动机器周围的空间中的并且当光束被中断时将关闭信号 发送给机器的挡ib板和光帘(light curtain)是普遍的，但由于itiL射器 和传感器必须彼此精确地对准，因此设计费用相对较高。
德国公开的专利申请DE 103 58 770 Al描述了一种安全系统，使用所 述安全系统可以通过包括多个摄像机的装置来监控机器及其附近。可以通 过才艮据同步记录图#>的三角测量来确定对象点在空间中的空间位置。如果 一定数量的点位于预先定义的体积中，则机器将被关闭。与使用挡光板和 阵列相对，实际上可以这种方式来监控任何体积。然而，这种体积是静态 的，并且它们仅仅可以由程序控制进行激活或者禁用。
为了灵活地配置人员与移动机器之间的距离，德国公开的专利申请 DE 102 26 140 Al提出确定各个单独机器人铰接的目前和先前的铰接设 置以及铰接^，并且据此推导与机器人在停止时间期间的移动路径的构 it^目关的预测。当推导停止时间期间中的移动路径时，还使用与移动机器 部件的最大速度和最大负加速度相关的知识。尽管通常要考虑大量的参
5数，但为了实现系统的实时能力，提出了应该通过神经网络来确定当前的 停止时间、并且因此确定当前的停止距离。通过传感器来记录在机器人的 移动部分与其附近的人员/对象之间的距离，并且将所^巨离与确定的停 止时间或距离相关联，从而可以在有碰撞危险的情况下产生关闭信号。
德国公开的专利申请DE 103 24 627 Al描述了用于自动工作机器的 另一安全系统。在此情况下，限定在机器周围的并且由机器上安装的传感 器所监控的安全区域适合于已知的即时移动行为和未来移动行为。在人员 l安全区之一的情况下，根据他们观看的方向或根据他们的移动行为来 估计进入安全区域是有意还是偶然的。在有意进入的情况下修改安全区 域，有意ii^通常与人员对工作机器的计划的干预相关。
为了能够在任何时间估计正确的停止时间或安全区域的尺寸定位，在 现有技术的已知方法中必须使用由机器或其控制程序所提供的数据。这仅 当机器具有适当的数据接口时才是可能的，通过所述数据接口可得到用于 动态防护机器所需的所有数据。然而，通常没有这种接口。
鉴于现有技术，本发明的一个目的在于提供一种用于在具有移动机器 部件的机器与其附近的对象之间无碰撞交互的方法和设备，所述方法和设 备甚至可以在没有由机器及其控制程序进行的完全数据通信的情况下工 作。
通过根据权利要求1和14的方法和设备来实现该目的。在从属权利 要求中描述了本发明的有利配置和细化。
在用于机器与其附近的对象之间无碰撞交互的新颖方法中，使用机器 的当前位置和动态行为的知识。使用该知识以及与从关闭直到机器部件处 于静止的持续时间(停止时间)相关的信息，来估计移动机器部件可在该 停止时间内达到的未来位置。在普通的标准工业机器人中，例如，第一铰 接的最大速度和最大负加iUL通常分别是240 ^L/s和880 >l/s2，其给出在 最大速度时大约33度的停止角度。
基于这个估计，然后确立机器和/或移动机器部件周围的安全区域的 大小。通过传感器来监控这些安全区域以便检测对象的iiX。如果对这些 安全区域中的至少一个进行的这种监控的结果是检测到i^其中的对象， 则控制机器和/或移动机器部件的驱动以便修改机器部件的动态移动行 为。
通过图像获取系统来有利地记录移动机器部件的图像数据。将这些图像数据与数据库相关联，所述数据库是在训练阶段中使用机器和/或至少 一个移动机器部件的图像数据编辑出的。特别地，该数据库包含既涉及移 动机器部件的移动过程内的多个移动阶段又涉及该多个移动阶段的动态 关系的图像数据。在将当前记录的图像数据与该数据库相关联的范围中， 既确定了移动机器部件的当前位置，又估计了移动机器部件在停止时间内 可达到的未来位置。
根据通过图像传感器所记录的数据来确定当前位置和未来位置并且 将它们与对应的数据库相关联有利地实现了相对于由机器或其驱动所发 送的信息的独立性。因此，即使由机器所提供的数据本身不充分，通过根 据本发明的方法进行工作的设备也能够监控具有移动机器部件的机器。因 此该方法可以灵活地用于各种机器。在较短的训练阶段之后，该方法和新 颖设备可以用于对任何类型的机器进行碰撞监控而独立于机器的控制程 序(无论由软件技术或是硬件技术加以实施)，在所述较短的训练阶段期 间通过观测移动机器部件的移动过程来产生数据库。
优选地通过多目镜摄像机系统来记录图像数据。该摄^^系统有利地
具有已定义的立体基础(stereobasis ),其使得可以通过立体视觉估测方 法来确定摄^4^系统与空间中的各个对象点之间的距离。
为了提供适合于位置确定和未来位置的估计的数据库，在机器或移动 机器部件的移动过程的训练阶段中，应该存储尽可能多的移动阶段的图像 数据。在这种情况下，有可能通过将数据库中存储的移动阶段的多个图像 数据相关联(特别地，取平均)来确定该移动阶段的图像数据的信息。在 产生了该数据库之后，接着将来自当前图^Jt据的信息和数据库中存储的 与移动阶段相关的数据进行比较，并且移动机器部件的被确定为当前位置 的位置是以下位置该位置被分配给一移动阶段，该移动阶段的信息与通 过图像数据被当前确定的信息最相似。
除了从单独的移动阶段的图像数据推导出用于确定至少 一个移动机 器部件的当前位置的信息之外，数据库还有利地包括与移动过程的该多个 移动阶段的动态关系相关的信息。通过当前的移动阶段，有可能根据数据 库不仅找出l^是哪个移动阶段，而且找出单独的移动阶段之间的改变按 什么时间间隔发生。
很多可以想到的用于确定移动机器部件的当前位置的有利选择之一 包括通过模板匹配将当前记录的图傳教据与数据库中存储的图傳教据相 关联。在此情况下，移动机器部件的被确定为当前位置的位置是以下位置:该位置被分配给一移动阶段，该移动阶段的存储的图像已经通过^K板匹配
被识别为与当前记录的图^Nt据最相似。
在另 一方法中，当在训练阶段期间编辑数据库时由图像获取系统所记
录的图傳教据经受变换并且以此形式被存储，并且用于在经it^目应的变换 之后在未来与当前记录的图像数据相关联。在此情况下主轴变换 (Hauptachsentransformation)是特别优选适合的，这是由于待存储在数 据库中或者待关联的数据量可以由此显著减少。再次地，移动机器部件的 被确定为当前位置的位置是以下位置其变换后的图像被识别为与当前记 录的图像数据的变换最相似的那个移动阶段所对应的位置。可以根据各个 移动阶段的多个映射或这些映射的变换、特别是通过取平均来在训练阶段 期间确定在多维空间内分配给移动阶段的位置。
为了在多维空间中最有利地应用相似性运算符，可推荐按照在多维空 间中经过分别被分配给移动阶段的点的路径来映射移动阶段的序列。然后 将变换后的当前图像数据分配给移动机器部件的一移动阶段，该移动阶段 沿着多维空间中的路径的位置与当前计算出的位置最相似。
可以通过考虑路径在多维空间中的连续性来基于确定为当前移动阶 段的移动阶段的位置而最佳地确定移动机器部件在停止时间内可达到的 未来位置。
例如可以根据与机器部件的物理特性相关的先验知识来推导出机器 部件在关闭之后将移动多远。然而，另一方面，还有可能基于先前通过图 ^Jt据记录下的多个移动阶段，进而在系统的训练阶段期间用实验方法确 定这种在关闭的情况下的行为。
基于移动机器部件的确定出的当前位置，并且使用未来可达到的位置 的知识，可以确立待分配给移动机器部件的安全区域。为此，有利地确定 在停止时间期间机器部件行进通过的所有位置。在此基础上，这些位置扩 展为区域，根据在移动机器部件的附近潜在地存在的或检测到的对象在停 止时间内可行进的距离来限定区域的大小。例如，当在附近检测到人员时， 显然他或她将不会进行巨大跳跃的移动；人员的最大速度和加速度也是已 知的，并且如果适当的话当前也可以根据附加执行的移动分析相对于人员 的方向对人员的最大速度和加it^进行非常好的估计。
通过对在停止时间期间为移动过程所确定的位置在所有侧扩展来标 记至少一个安全区域的尺寸是尤其简单而有利的。为了检测安全区域之一中的对象(尤其是人员)，多种非常不同的传 感器是适合的，但尤其是激光雷达、雷达、或超声波传感器。摄#4^传感 器可以尤其有利地应用于此。因此，例如，用于记录移动机器部件的移动 过程的图像获取系统也可以同时用于检测对象进入安全区域的至少一个中。
根据通常的定义，每当两个对象同时位于相同的空间区域中时，它们 之间就发生碰撞。因此可以通过确定与由机器部件和对象所占据的空间相
关的交集来非常筒单地执行碰撞确定；如果存在这种交集，则发生碰撞。
根据Franke等人的工作(U. Franke, C. Rabe， H. Bardino， S. Gehrig; 6D-Vision: Fusion of Stereo and Motion for Robust Environment Perception, in Walter (i Kropatsch, Robert Sablatnig， Allan Hanbury (Eds.): Pattern Recognition, 27th DAGM Symposium, Wien, Osterreich , August 31 - September 2， 2005, Proceedings. Lecture Notes in Computer Science 3663 Springer 2005， pages 216-223)，被转换为具有移动信息的三 维图傳教据的传感器信息尤其有利地适合于图像碰撞确定。在此情况下将 卡尔曼(Kalman)滤波器分配^个三维点，这预测其移动。如果足够 大数量的三维点的预测路径经过预定安全区域，就预示着碰撞。
如果现在检测到由于对象被检测到进入安全区域的至少一个中而导 致的碰撞危险，则控制机器和/或移动机器部件的驱动以修改机器部件的 动态移动行为。在最简单的情况下，这种修改导致关闭移动机器部件的移 动。但由于与碰撞相关的判决是纯二进制的，因此在危急情况下，尤其是 例如当人员在机器前面移动时，关闭有时导致机器部件的急动运动。 一方 面，这样给机器的机械结构施加压力，而另一方面，这意味着其附近的人 员难以理解其行为。
因此，在有可能碰撞的情况下，优选首先修改、尤其是减慢移动机器 部件的移动速度；当碰撞发生的可能性较大时就应更大地修改、尤其是减 慢移动机器部件的移动速度。为此，可推荐的是速度的改变应该与对即 将发生的碰撞的估计概率成比例地进行。这种碰撞概率的估计发生在检测 到对象iiX机器的安全区域之后，并且其描述移动机器部件随后将与位于 安全区域中的对象真实碰撞的概率。
由于与估计碰撞概率相关的所有量都受到测量误差的影响，因此优选 的是为这些量分配概率密度。由于在机器周围的可能性较小的区域中的测 量仅导致速度减小，而不是完全关闭，因此这种方法形成相对较小的保护区域。
为了估计碰撞概率，优选地对移动机器部件在停止时间期间所经过的 空间进行量化，为每个量化部分确定各自的碰撞概率。然后根据所有部分 的各自概率之和推导出真实的碰撞概率。
为了在另一变型中估计碰撞概率，为所有相关的组件分配概率密度函
数，并且根据贝叶斯(Bayes)定理将这些概率密度函数组^来。为此， 基于训练视频序列的图像数据来对移动机器部件的先验概率进行指定或 者进行近似。
权利要求
1. 一种用于在具有至少一个移动机器部件的机器与所述移动机器部件附近的对象之间无碰撞交互的方法，其中，使用所述移动机器部件的当前位置和动态行为的知识并且使用停止时间的知识来估计在所述机器部件处于静止之前的停止时间内所述机器部件可达到的未来位置，其中，根据估计出的可达到位置来确立所述机器部件周围的至少一个安全区域，其中，通过来自对象传感器的传感器数据来检测对象进入所述安全区域，以及其中，当检测到对象进入所述安全区域时控制所述机器部件的驱动以便修改所述机器部件的动态移动行为，其特征在于，通过图像获取系统来记录所述机器部件的图像数据，并且将所记录的图像数据与基于图像数据编辑出的数据库的数据相关联，所述数据库包含与所述机器部件的移动过程内的多个移动阶段相关的图像数据，并且根据所述数据库来估计所述机器部件的当前位置和在所述停止时间内可达到的位置。
2. 根据权利要求1所述的方法，其特征在于，通过多目镜摄像机系 统来记录所述图像数据。
3. 根据前述权利要求之一所述的方法，其特征在于，通过将当前记 录的图像数据与存储在所述数据库中的图像数据相关联来确定所述机器 部件的当前位置，其中，所述当前位置被确定为所述移动机器部件的以下 位置该位置被分配给一移动阶段，该移动阶段的存储的图傳被标识为与 所述当前记录的图傳教据最相似。
4. 根据权利要求1至3之一所述的方法，其特征在于，使当前记录 的图傳教据经受变换、尤其经受主轴变换，并且与存储在所述数据库中的 数据相关联以便确定所述机器部件的当前位置，其中，所述移动机器部件 的当前位置被确定为以下位置该位置与一移动阶"R相对应，该移动阶段 沿着由所述机器部件的移动过程所描述的路径在变换的坐标系统中的映 射与所述当前记录的图像数据的变换最符合。
5. 根据权利要求4所述的方法，其特征在于，通过使用在变换的坐 标系统中描述机器部件的移动过程的路径来估计所述机器部件在从当前 确定的位置开始的停止时间内达到的未来位置。
6. 根据前述权利要求之一所述的方法，其特征在于，通过以下方式 来确立所述安全区域基于所述数据库来确定所a器部件在所述停止时 间期间可达到的多个位置，并且将所述多个可达到的位置扩展为区域，优选地根据在所述移动机器部件的附近检测到的对象能够在停止时间内行进的距离来执行所述扩展。
7. 根据权利要求6所述的方法，其特征在于，在所有侧扩展所确定 的位置以便建立所述安全区域。
8. 根据前述权利要求之一所述的方法，其特征在于，通过至少一个 摄像机传感器来获得用于检测对象进入所述安全区域的至少一个中的传 感器数据。
9. 根据权利要求8所述的方法，其特征在于，所述传感器数据被转 换为包括移动信息的三维数据以便检测i^V。
10. 根据前a利要求之一所述的方法，其特征在于，所述动态移动行为的修改包括停止所述机器部件的移动。
11. 根据前iUL利要求之一所述的方法，其特征在于，所述动态移动 行为的修改包括所述机器部件的移动iilJL的改变。
12. 根据权利要求11所述的方法，其特征在于，以相关联的方式、 尤其与估计出的碰撞概率成比例地执行it;变的改变，在检测到对象i^所述安全区域之后执行所述估计，并且所i^撞概率描述所i^L器部件l^ 将与位于所述安全区域中的对象真实碰撞的概率。
13. 根据权利要求12所述的方法，其特征在于，对所述移动机器部 件经过的空间进行量化，为每个量化部分确定各自的碰撞概率，以及根据 所有部分的各自概率的总和来推导出真实的碰撞概率。
14. 一种用于在具有至少一个移动机器部件的机器与所述移动机器部 件附近的对象之间无碰撞交互的设备，所述设备包括第一单元，用于确 定所述移动机器部件的当前位置和动态行为；第二单元，用于基于所述当 前位置并且使用从所述移动机器部件的关闭直到移动机器部件处于静止 的停止时间的知识，来估计在所述机器部件处于静止之前的停止时间内所 i^L器部件可达到的未来位置；第三单元，用于根据估计出的可达到位置 来确定至少一个安全区域；至少一个传感器，用于检测对象进入所述安全 区域；以及第四单元，用于当检测到对象进入所述安全区域时控制所述机 器部件，以便修改所述机器部件的动态移动行为，其特征在于，用于记录 所述移动机器部件的图像数据的图像获取单元、数据库以及用于将所记录 的图傳教据与所述数据库的数据相关联的比较器单元，所述数据库包含与 所述机器部件的移动过程内的多个移动阶斜目关的图像数据，而所述比较器单元被设计用于估计所述机器部件的当前位置和所述机器部件在所述 停止时间内可达到的未来位置。
全文摘要
对于以相当大的速度移动的现代工业机器人，碰撞通常对机器人和碰撞对象产生严重的损坏。这可以导致受伤以及代价较大的生产停工。因此一种用于在具有移动机器部件的机器与位于其周围的对象之间无碰撞交互的方法涉及使用当前位置和动态行为的知识来确定并且监控安全区域。特别地，移动机器部件的图像数据由图像记录系统进行记录并且与数据库相关联，数据库是在训练阶段中使用至少一个移动机器部件的图像数据被建立的。数据库包含针对机器的移动周期内的多个移动阶段的图像数据。将当前记录的图像数据与该数据库相关联包括既确定移动机器部件的当前位置，又估计在停止时间内可达到的未来位置。该估计是优化机器在有碰撞危险的情况下的动态行为的基础。
文档编号G05B19/4061GK101512452SQ200780032230
公开日2009年8月19日 申请日期2007年7月25日 优先权日2006年7月31日
发明者克里斯蒂安·韦勒, 安德烈·弗兰克, 拉尔斯·克吕格尔 申请人:皮尔茨公司