一种基于末端反馈的协作机器人识别方法及系统与流程

本申请涉及机器人技术领域，特别涉及一种基于末端反馈的协作机器人识别方法及系统。

背景技术：

协作机器人是近年机器人领域出现的一种新型机器人。与传统的工业机器人相比，协作机器人体积小重量轻、高度灵活、移动方便，更加智能安全。正是由于以上这些特点，协作机器人可以与工人近距离交互协同完成工作而无需防护隔离。协作机器人可以有效地提高中小制造企业的产业自动化水平，从而帮助企业实现高效的小批量加工生产，以应对短期生产的挑战。

相较于传统工控机器人用于完成简单、高精、重复的机械工作，协作机器人更注重于替代或者协助人工完成自由度较高的工作。此类工作更倚重人对操作物的识别和判断。因此协作机器人需要模拟学习人对操作物的识别过程。目前，协作机器人识别操作物最常用的方式是基于图像识别技术的识别方式，依赖于额外的摄像头设备进行图像获取和分析，完成识别过程。部分协作机器人的摄像头与产品绑定进行一体化开发，如abb公司的yumi协作机械臂；另一部分协作机器人仅提供摄像头连接端口作为扩展接头，由用户自行根据需求添加摄像头，如rethink公司的sawyer协作机械臂。根据摄像头作用范围，基于图像识别技术的识别方式可分为全局识别和局部识别，分别针对于完整3d空间的图像识别和特定2d/3d局部空间的图像识别。除基于图像识别技术的识别方法之外，一些产品也开始使用其他方式进行辅助识别，如kuka公司的iwa协作机械臂借助力矩传感器进行力矩识别，f&p公司的协作机械臂借助距离传感器进行距离识别等。现有应用广泛的基于图像识别技术的识别方法有以下缺点：额外成本高，特别在一些对识别质量要求较高的场景下，满足需求的摄像机设备价格高昂；运算量大，特别是基于全局识别的图像识别技术，需要针对整个3d空间进行处理，对运算能力要求高；实时性差，一方面由于运算量大常需要在协作机器人本体之外进行处理，另一方面图像数据量大，与外部服务器通讯会造成较大延迟；抗干扰性弱，在协作机器人应用场景下常有干扰物出现，容易造成误识别。

技术实现要素：

本申请提供了一种基于末端反馈的协作机器人识别方法及系统，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种基于末端反馈的协作机器人识别方法，其特征在于，包括以下步骤：

步骤a：协作机器人从已识别操作物提取物体特征数据，并计算出已识别操作物的分类规则；

步骤b：协作机器人通过协作机器人末端操作未识别操作物，感知并获取操作物的原始物体信息，并从原始物体信息中提取出物体特征数据；

步骤c：协作机器人根据分类规则识别未识别操作物。

本申请实施例采取的技术方案还包括：在所述步骤a具体包括：

步骤a1：协作机器人通过协作机器人末端操作已识别操作物，感知并获取操作物的原始物体信息；

步骤a2：协作机器人从原始物体信息中提取出物体特征数据；

步骤a3：协作机器人基于提取出的物体特征数据计算出操作物的分类规则；

步骤a4：协作机器人从离线服务器下载并设定分类规则。

本申请实施例采取的技术方案还包括：在所述步骤a1中，原始物体信息为协作机器人末端提取操作物时，协作机器人末端获取的指尖开合弧度、末端电机电流读数、指尖形变度信息中的一种或多种。

本申请实施例采取的技术方案还包括：所述步骤a2包括：创建物体特征方程，输入协作机器人末端获取的原始物体信息，并将原始物体信息转化为能够进行分类运算的特征函数；对特征函数进行求解计算，得到的计算结果为物体特征数据。

本申请实施例采取的技术方案还包括：所述特征函数获得方式为：构建加权多维测量空间，根据协作机器人末端的种类设置各维度物体信息的加权系数，对操作物的原始物体数据进行加权，生成加权物体数据，并按照时间序列在加权多维测量空间中连接加权物体数据，得到操作物在加权多维测量空间中的映射形状；计算操作物在加权多维测试空间中的映射形状的几何中心，同时随机选取操作物n个加权物体数据计算每个加权物体数据与几何中心在加权多维测试空间中的欧几里得距离di＝|aic|，得到n个欧几里得距离，将该n个欧几里得距离划分成m个距离区间，统计每个距离区间的频率wi，得到m个距离区间的频率；由获得的各距离区间的频率，生成概率分布函数pn(d)＝wi，di＜d＜di+1，成为特征函数f。

本申请实施例采取的技术方案还包括：在所述步骤b中，所述协作机器人通过协作机器人末端操作未识别操作物前还包括：协作机器人确定分类规则。

本申请实施例采取的技术方案还包括：所述步骤c还包括：根据识别结果，协作机器人对操作物进行预设的操作。

本申请实施例的另一技术方案为：一种基于末端反馈的协作机器人识别系统，其特征在于，包括：

训练装置：用于从已识别操作物提取物体特征数据，并计算出已识别操作物的分类规则；

识别装置：用于通过协作机器人末端操作未识别操作物，感知并获取操作物的原始物体信息，从原始物体信息中提取出物体特征数据，并根据分类规则识别未识别操作物。

本申请实施例采取的技术方案还包括：所述训练装置包括原始物体信息获取模块、物体特征数据提取模块、分类规则计算模块和分类规则设定模块；所述原始物体信息获取模块用于通过协作机器人末端操作操作物，感知并获取操作物的原始物体信息；所述物体特征数据提取模块用于从原始物体信息中提取出物体特征数据；所述分类规则计算模块基于提取出的物体特征数据计算出操作物的分类规则；所述分类规则设定模块用于从离线服务器下载并设定分类规则。

本申请实施例采取的技术方案还包括：所述识别装置包括分类规则确定模块、原始物体信息获取模块、物体特征数据提取模块、未识别操作物识别模块和预设操作模块；所述分类规则确定模块用于确定分类规则；所述原始物体信息获取模块用于通过协作机器人末端操作操作物，感知并获取操作物的原始物体信息；所述物体特征数据提取模块用于从原始物体信息中提取出物体特征数据；所述未识别操作物识别模块用于根据分类规则识别未识别操作物；所述预设操作模块用于根据识别结果对操作物进行预设的操作。

相对于现有技术，本申请实施例的基于末端反馈的协作机器人识别方法及系统具有以下有效效果：

成本低廉：由于使用本申请识别方法进行操作物识别无需借助额外硬件设备，协作机器人不会增加额外的成本，这极大利于目前成本高昂的协作机器人来说将有极大的市场推广；

运算量小：相较于图像识别等识别方式，本申请用于数据处理的数据量小，处理算法较为简单，因此运算量小，可较少对处理单元的要求；

实时性强：采用训练阶段与识别阶段分离的方式，将运算量更小的识别阶段置于协作机器人本体中进行，无需大量的数据传输，减少延迟，实时性强；

抗干扰强：协作机器人末端反馈数据均生成于协作机器人末端与操作物的世界接触与操作，受操作现场的干扰较小，识别更准确。

附图说明

图1为本申请实施例的基于末端反馈的协作机器人识别方法在训练阶段的流程图；

图2为本申请实施例的基于末端反馈的协作机器人识别方法在识别阶段的流程图；

图3是本申请实施例的基于末端反馈的协作机器人识别系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例的基于末端反馈的协作机器人识别方法及系统通过获取协作机器人末端抓取已识别操作物时的多维反馈数据，分析获取操作物的特征信息，并根据特征信息将未识别操作物进行识别的识别过程。其中，协作机器人末端为协作机器人用于执行实际操作的末端执行器，包括但不限于抓手、吸盘等；操作物为协作机器人末端执行操作的对象；已识别操作物为已通过人工或已具备识别能力的协作机器人进行识别且已知其识别属性的操作物；未识别操作物为未通过人工或已具备识别能力的协作机器人进行识别且已知其识别属性的操作物。

本申请实施例的基于末端反馈的协作机器人识别方法包括两个阶段：

训练阶段(第一阶段)：协作机器人通过获取已识别操作物的特征数据，生成操作物识别的判定标准。

识别阶段(第二阶段)：协作机器人获取未识别操作物的特征数据，通过存储的操作物识别的判定标准，识别出未识别操作物。

其中，训练阶段计算量相对较大，为协作机器人的初始化基于末端反馈识别方法时进行的阶段，一般训练阶段完成，根据训练阶段使用的数据分析方法可通过反馈进行分类规则的调整，不需要频繁进行训。识别阶段计算量小，为协作机器人工作时执行识别操作物的需求时调用，每次识别俊辉调用一次或多次。

具体地，请参阅图1，图1为本申请实施例的基于末端反馈的协作机器人识别方法在训练阶段的流程图。训练阶段具体包括以下步骤：

步骤11：协作机器人通过协作机器人末端操作已识别操作物，感知并获取操作物的原始物体信息；

在步骤11中，已识别操作物为：系统可识别其标识的操作物或由其他分类器完成分类识别的操作物，其标识可通过以下方式获得：人工标记、该协作机器人用旧有的分类规则进行识别标记、其他已有分类规则的协作机器人进行识别标记、其他自动化系统进行识别标记；原始物体信息为协作机器人末端提取操作物时，协作机器人末端获取的指尖开合弧度、末端电机电流读数、指尖形变度等信息中的一种或多种。

步骤12：协作机器人从原始物体信息中提取出物体特征数据；

步骤12具体包括：

步骤121：创建物体特征方程，输入协作机器人末端获取的原始物体信息，并将原始物体信息转化为能够进行分类运算的特征函数，特征函数f表达式为：

f＝s(ut(w1,w2,…,wn))(1)

在公式(1)中，ut(·)为协作机器人末端提取操作物过程中，在时间戳t上，获取的原始物体信息元数据组；

wn为协作机器人末端获取的第n维操作物的物体信息，如指尖开合弧度、末端电机电流读数、指尖形变度等。

步骤122：对特征函数f进行求解计算，得到的计算结果即为步骤12的物体特征数据。

特征函数f可通过多种方法获得，包括但不限于以下方法：

构建加权多维测量空间，根据协作机器人末端的种类设置各维度物体信息的加权系数，对操作物的原始物体数据进行加权，生成加权物体数据，并按照时间序列在加权多维测量空间中连接加权物体数据，得到操作物在加权多维测量空间中的映射形状；

计算操作物在加权多维测试空间中的映射形状的几何中心c，同时随机选取操作物n个加权物体数据{a1，a2，…，an}，计算每个加权物体数据ai与c在加权多维测试空间中的欧几里得距离di＝|aic|，得到n个欧几里得距离{d1，d2，…，dn}；将该n个欧几里得距离{d1，d2，…，dn}划分成m个距离区间{(d1’，d2’)，(d2’，d3’)，…，(dm’，dm+1’)}；统计每个距离区间(di’，di+1’)的频率wi，得到m个距离区间的频率{w1，w2，…，wm}；由获得的各距离区间的频率{w1，w2，…，wm}，生成概率分布函数pn(d)＝wi，di＜d＜di+1，成为特征函数f。

步骤13：协作机器人基于提取出的物体特征数据计算出操作物的分类规则r，其中，分类规则r通过离线服务器进行计算；

在步骤13中，协作机器人基于提取出的物体特征数据设定并存储操作物的分类规则r，该分类规则可以通过多种数据挖掘的方法进行获取，包括但不限于支持向量机、深度学习、深度神经网络等方法；考虑到协作机器人本体计算能力有限，协作机器人通过以太网络、控制器局域网络等网络协议，将操作物特征数据发送到服务器或数据中心进行离线处理，完成分类规则获取，将分类规则存储到服务器或数据中心中，并推送给协作机器人。

步骤14：协作机器人从离线服务器下载并设定分类规则r；

请参阅图2，图2为本申请实施例的基于末端反馈的协作机器人识别方法在识别阶段的流程图。识别阶段具体包括以下步骤：

步骤21：协作机器人确定分类规则r；

步骤22：协作机器人通过协作机器人末端操作未识别操作物，感知并获取操作物的原始物体信息；

在步骤22中，原始物体信息为协作机器人末端提取操作物时，协作机器人末端获取的指尖开合弧度、末端电机电流读数、指尖形变度等信息中的一种或多种。

步骤23：协作机器人从原始物体信息中提取出物体特征数据；

步骤23具体包括：

步骤231：创建物体特征方程，输入协作机器人末端获取的原始物体信息，并将原始物体信息转化为能够进行分类运算的特征函数，特征函数f表达式同公式(1)。

步骤232：对特征函数f进行求解计算，得到的计算结果即为步骤23的物体特征数据。

特征函数f可通过多种方法获得，包括但不限于以下方法：

构建加权多维测量空间，根据协作机器人末端的种类设置各维度物体信息的加权系数，对操作物的原始物体数据进行加权，生成加权物体数据，并按照时间序列在加权多维测量空间中连接加权物体数据，得到操作物在加权多维测量空间中的映射形状；

计算操作物在加权多维测试空间中的映射形状的几何中心c，同时随机选取操作物n个加权物体数据{a1，a2，…，an}，计算每个加权物体数据ai与c在加权多维测试空间中的欧几里得距离di＝|aic|，得到n个欧几里得距离{d1，d2，…，dn}；将该n个欧几里得距离{d1，d2，…，dn}划分成m个距离区间{(d1’，d2’)，(d2’，d3’)，…，(dm’，dm+1’)}；统计每个距离区间(di’，di+1’)的频率wi，得到m个距离区间的频率{w1，w2，…，wm}；由获得的各距离区间的频率{w1，w2，…，wm}，生成概率分布函数pn(d)＝wi，di＜d＜di+1，成为特征函数f。

步骤24：协作机器人根据分类规则r识别未识别操作物；

在步骤24中，协作机器人根据分类规则r识别未识别操作物，该步骤在协作机器人本地数据处理器中根据下载的分类规则r进行处理完成。

步骤25：根据识别结果，协作机器人对操作物进行预设的操作。

请参阅图3，图3为本申请实施例的基于末端反馈的协作机器人识别系统的结构示意图。本申请实施例的基于末端反馈的协作机器人识别系统包括训练装置和识别装置。训练装置包括原始物体信息获取模块、物体特征数据提取模块、分类规则计算模块和分类规则设定模块。识别装置包括分类规则确定模块、原始物体信息获取模块、物体特征数据提取模块、未识别操作物识别模块和预设操作模块。

训练装置的原始物体信息获取模块用于通过协作机器人末端操作已识别操作物，感知并获取操作物的原始物体信息。已识别操作物为：系统可识别其标识的操作物或由其他分类器完成分类识别的操作物，其标识可通过以下方式获得：人工标记、该协作机器人用旧有的分类规则进行识别标记、其他已有分类规则的协作机器人进行识别标记、其他自动化系统进行识别标记；原始物体信息为协作机器人末端提取操作物时，协作机器人末端获取的指尖开合弧度、末端电机电流读数、指尖形变度等信息中的一种或多种。

训练装置的物体特征数据提取模块用于从原始物体信息中提取出物体特征数据，提取出物体特征数据具体为：

创建物体特征方程，输入协作机器人末端获取的原始物体信息，并将原始物体信息转化为能够进行分类运算的特征函数，特征函数f表达式为：

f＝s(ut(w1,w2,…,wn))(1)

在公式(1)中，ut(·)为协作机器人末端提取操作物过程中，在时间戳t上，获取的原始物体信息元数据组；

wn为协作机器人末端获取的第n维操作物的物体信息，如指尖开合弧度、末端电机电流读数、指尖形变度等。

对特征函数f进行求解计算，得到的计算结果为物体特征数据。

特征函数f可通过多种方法获得，包括但不限于以下方法：

构建加权多维测量空间，根据协作机器人末端的种类设置各维度物体信息的加权系数，对操作物的原始物体数据进行加权，生成加权物体数据，并按照时间序列在加权多维测量空间中连接加权物体数据，得到操作物在加权多维测量空间中的映射形状；

计算操作物在加权多维测试空间中的映射形状的几何中心c，同时随机选取操作物n个加权物体数据{a1，a2，…，an}，计算每个加权物体数据ai与c在加权多维测试空间中的欧几里得距离di＝|aic|，得到n个欧几里得距离{d1，d2，…，dn}；将该n个欧几里得距离{d1，d2，…，dn}划分成m个距离区间{(d1’，d2’)，(d2’，d3’)，…，(dm’，dm+1’)}；统计每个距离区间(di’，di+1’)的频率wi，得到m个距离区间的频率{w1，w2，…，wm}；由获得的各距离区间的频率{w1，w2，…，wm}，生成概率分布函数pn(d)＝wi，di＜d＜di+1，成为特征函数f。

分类规则计算模块基于提取出的物体特征数据计算出操作物的分类规则r，其中，分类规则r通过离线服务器进行计算。分类规则计算模块基于提取出的物体特征数据设定并存储操作物的分类规则r，该分类规则可以通过多种数据挖掘的方法进行获取，包括但不限于支持向量机、深度学习、深度神经网络等方法；考虑到协作机器人本体计算能力有限，协作机器人通过以太网络、控制器局域网络等网络协议，将操作物特征数据发送到服务器或数据中心进行离线处理，完成分类规则获取，将分类规则存储到服务器或数据中心中，并推送给协作机器人。

分类规则设定模块用于从离线服务器下载并设定分类规则r。

分类规则确定模块用于确定分类规则r。

未识别操作物识别模块用于根据分类规则r识别未识别操作物。未识别操作物识别模块根据分类规则r识别未识别操作物，其在协作机器人本地数据处理器中根据下载的分类规则r进行处理完成。

预设操作模块用于根据识别结果对操作物进行预设的操作。

识别装置的原始物体信息获取模块、物体特征数据提取模块功能和作用与训练装置的原始物体信息获取模块、物体特征数据提取模块功能作和作用相同，在此不再详细说明。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。