一种生活垃圾自动分拣系统的利记博彩app

一种生活垃圾自动分拣系统的利记博彩app
【专利摘要】一种生活垃圾自动分拣系统，包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。
【专利说明】
一种生活垃圾自动分拣系统
技术领域
[0001 ]本发明属于环保机械领域，解决生活垃圾中的目标对象快速自动分拣问题。
【背景技术】
[0002] 生活垃圾回收生产线一般以传送带为载体，对传送带上平铺的垃圾进行分类分 拣。现有的垃圾分拣实现一般以人工抓取的分拣方式。采用在垃圾分拣线上采用多机械手 对目标物进行抓取分拣的方法具有工作效率高及降低工人劳动强度的优点。
[0003] 但是由于生活垃圾总类繁多且环境复杂恶劣，从生活垃圾中需要识别的目标类 另IJ、特征种类非常多，例如各种形状、颜色的瓶子、罐子等，由于特征提取的计算量很大，提 取多种特征的方法在实时性上不能满足要求;并且特征提取的方法的准确率一直不高，在 工业自动化生产线上，很难满足使用要求。
[0004] 并且现有的机械手控制大部分都是对单台机械手的运动控制，即使是多台机械手 的控制也是针对不同种类的分拣目标在不同工序上的分拣任务。针对多目标在移动生产线 上的垃圾分拣的实际应用情况，这种分拣方法容易漏检，效率低。

【发明内容】

[0005] 本发明的技术解决问题是：克服现有技术的不足，提供了一种生活垃圾自动分拣 系统。
[0006] 本发明的技术解决方案是:一种生活垃圾自动分拣系统，包括垃圾目标识别单元、 垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；
[0007] 采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别 单元；
[0008] 垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特 点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃 圾分拣控制单元；
[0009] 垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位 置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿 信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标 物。
[0010] 所述的垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对 目标物进行识别，得到目标的位姿信息。
[0011] 所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅 助处理模块；
[0012] 形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态 学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐 标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判 断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后 的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处 理后的图像发送至人工辅助处理模块，否则不发送;所述的时间为图像拍摄时间，所述的角 度为目标所在轴线与图像坐标系X轴之间的夹角；
[0013] 人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光 学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物， 人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上 述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标 物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理 单元；
[0014] 中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人 工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐 标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角 度和拍摄时间信息组成目标的位姿信息帧。
[0015] 所述的形态学综合处理具体步骤如下：
[0016] (1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最 小长宽比；
[0017] (2)对采集到的每帧图像做基于颜色的聚类处理；
[0018] (3)对聚类后的图像进行最小轮廓识别；
[0019] (4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓 长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围 则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标 物角度信息。
[0020] 所述的中间结果综合处理单元具体实现步骤如下：
[0021 ] (1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物 的坐标；
[0022 ] (2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如 果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充 的目标物信息；
[0023] (3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助 点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间 差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置 与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准 目标相同的目标，并将重复点击的目标进行剔除。
[0024]所述的人工辅助处理模块的角度识别步骤为：
[0025]以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度，180度]内 10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的 平均角度作为人工辅助识别出的角度。
[0026]所述的垃圾目标识别单元包括深度学习网络、中间结果综合处理单元和人机纠错 接口；
[0027] 深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理， 即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时 间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的 图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元;将处理 后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线 与图像坐标系X轴之间的夹角；
[0028] 人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反 馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的 目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；
[0029]中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得 到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间 信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目 标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。
[0030]所述的分类处理为将多层卷积、池化操作后的最后一层即1层的每个结果分别进 行如下处理：
[0031 ] (1)将1层的第k个结果Mik池化为3个不同尺寸的目标矩阵Mkfi，Mkf2，Mkf3;其中Mkfi的 尺寸为4X4,池化时滑动窗的尺寸
步长为
的尺寸为2X2,池化时 滑动窗的尺1
步长为
Mkf3的尺寸为1X1，池化时滑动窗的尺寸m，n， 步长为
[0032] (2)将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量V k;将V#别 输入到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两 类，得到结果为F lk，尺寸为2X1;第二个网络为包围盒回归网络，神经元个数为8即分别为背 景和目标物的包围盒坐标信息，得到结果为F 2k，尺寸为8X1;第三个网络为角度回归网络， 神经元个数为1，得到结果为F3k，尺寸为1 X 1;
[0033] (3)根据P = h(Flk)得到目标物的概率，其中
0为分类参数;取P 多b的概率作为目标物，其中b为预设的阈值参数；
[0035]则，目标物的坐标
F2k为包围盒的坐标(x，y，w，h)，其中，xy为包围盒左 上角坐标，wh为盒子的宽度和高度;F3k的结果为目标物的角度。
[0036]中间结果综合处理单元具体实现步骤如下：
[0037] (1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标；
[0038] (2)根据错误目标的时间T0,从接收到的深度学习网络处理结果中获取对应帧图 像Q0;
[0039] (3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距 离，欧氏距离最小的目标即为图像Q0上的错误目标〇0，￥0,20)，将该目标的相关信息剔除；
[0040] (4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标，根据拍摄时目标 物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置 与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对 应错误目标的坐标系，直至在某一帧图像上获取不到纵坐标为Y0的目标；
[0041] (5)对步骤(4)处理后的每帧图像所有目标的Y值进行统计，得到同一个目标的连 续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目 标，否则，将该目标的相关信息剔除。
[0042] 所述的垃圾分拣控制单元包括目标抓取物位姿接收模块、多机械手调度控制模 块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，其中：
[0043] 目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区 中；
[0044] 多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信 息帧中目标抓取物在t2+A T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，A T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一 个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否 "空闲"，如果"空闲"，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲 的机械手对应的机械手轨迹控制模块；
[0045]机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置;接收目标抓取 物的图像坐标系下的坐标信息之后，将工作状态置为"忙"，将该目标抓取物的坐标信息和 姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至 目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带 以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为"空闲"。
[0046] 假设N个机械手沿传送带运动方向排列，序号为1~N，多机械手调度控制模块循环 执行如下步骤：
[0047] (1)判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位 姿信息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2);
[0048] (2)按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧；
[0049] (3)解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息(XPj)， yPj))和 拍摄时间ti;
[0050] (4)将目标抓取物在图像坐标系中坐标信息(XPj)，yPj))进行坐标转换，得到传送带 平面坐标系下的坐标信息(xcj)，yc_o);
[0051] (5)计算目标抓取物在t2+AT时刻的在传送带平面坐标系下的预测坐标( Xc_targe5t， yC-target);
[0052] (6)当前时刻依次判断该目标抓取物预测坐标(Xe_targ(3t，ye_t arge3t)是否进入第1个 机械手~第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确 定该机械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进 入步骤(8);
[0053] (7)判断待抓机械手工作状态是否"空闲"，如果"空闲"，则将该目标位姿信息帧中 的图像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8);如果 工作状态为"忙"，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8);
[0054] (8)按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)~步骤 (7)，直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9);
[0055] (9)清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。
[0056] 步骤（1)中抓取队列中目标位姿信息帧按照如下规则排列：不同拍摄时刻的目标 位姿信息帧，按照时间先后顺序排列，同一拍摄时刻的目标位姿信息帧，根据目标位姿信息 帧的位置排列，靠近机械手的目标位姿信息帧排列在前。
[0057]所述的机械手为具有单向缓冲功能的末端执行保护机构或者带有末端磁性过载 保护的机构。
[0058]具有单向缓冲功能的末端执行保护机构包括上法兰板、上锁紧螺母、弹簧套筒、压 缩弹簧、直线轴承、下法兰板、下锁紧螺母、导向限位轴、气爪法兰盘、气爪、夹持机构；
[0059] 夹持机构与气爪固定，气爪上端通过气爪法兰盘安装在下法兰板的下方；下法兰 板两端固定安装直线轴承，两个直线轴承的内工作面与导向限位轴配合，导向限位轴穿过 下法兰板的部分通过两个下锁紧螺母连接，压缩弹簧穿过导向限位轴，压缩弹簧一端与直 线轴承的外端面固定，另一端通过安装在上法兰板下方的弹簧套筒进行固定，弹簧套筒和 直线轴承位于下法兰板上方的部分作为压缩弹簧上下两端的导向限位机构，通过压缩弹簧 的预紧力使整个末端执行保护机构在正常工作时为刚性结构;导向限位轴穿过上法兰板的 部分通过两个上锁紧螺母进行锁紧固定，上法兰板与机械臂固定，气爪接收机械臂上的气 体，实现对夹持机构的夹持控制。
[0060] 带有末端磁性过载保护的机构包括上磁性法兰、下磁性法兰、气爪、夹持支架和夹 持夹片；上磁性法兰固定在机械臂末端，下磁性法兰下端安装气爪，气爪下端安装夹持支 架，夹持支架安装夹持夹片;所述的下磁性法兰与上磁性法兰接触面中心位置设置定位凸 起，该接触面其他位置设置一个防转凸起，上磁性法兰对应位置设置相应的凹槽;上磁性法 兰与下磁性法兰之间通过磁力作用连接在一起，使得整个机构在正常工作时为刚性结构； 当夹持支架和夹持夹片发生碰撞时，上磁性法兰和下磁性法兰脱离，从而吸收冲击能量保 护机械臂。
[0061] 本发明与现有技术相比有益效果为：
[0062] (1)本发明的基于人工纠错机制与深度学习网络协作机器视觉识别方法，能够克 服上述两点不足，在需要识别的特征种类多的情况下，深度学习网络能够有效的识别目标， 并且实时性能够满足使用要求;但是深度网络的计算的综合特征虽然数量足够多、速度足 够快，但是存在误识别的问题，即错误的将非目标物识别为目标物，人工纠错机制的引入， 能够去除这些非目标物，同时保证了速度要求，有效的提高识别的准确率。
[0063]深度学习网络目前在工业领域还没有成熟应用，主要原因是识别的范围和正确率 不能保证。本发明的待识别目标范围非常广泛，形状、尺寸、颜色差异较大，并且识别环境恶 劣，目标物被遮盖的情况十分严重，这在计算机视觉和机器视觉应用中十分少见，识别难 度大，人工纠错机制和深度学习网络结合的识别方法，很好的解决了被识别目标广泛和识 别环境恶劣的问题。在正确率的保证上，由于有人工纠错机制的引入，正确率大幅提高，满 足了工业稳定性的要求。
[0064] (2)本发明人工辅助识别的方式解决了纯计算机图像处理方式无法完成复杂非结 构背景目标物识别的缺点；人工辅助识别方式的降低了计算机识别对相机、镜头、光环境、 计算机处理能力等方面的要求，有效降低了成本;人工辅助处理模块与计算机综合处理模 块相互结合，既降低了计算机识别的算法难度有解决了纯人工识别工作量大、容易出错和 重复识别的问题，系统结构更为优化。
[0065] (3)本发明布置多个机械手对垃圾进行分拣，充分利用每台机械手的分拣能力，将 多个分拣任务同时分配给多台机械手进行分拣，可实现整套系统最多目标抓取物的分拣能 力，工作效率高。
[0066] (4)本发明定义了固定的传送带平面坐标系，坐标是否落入机械手的抓取范围的 计算都是在传送带平面坐标系进行计算，有利于减少计算量，提高计算效率。本发明定义了 多个机械手坐标系，机械手坐标系随着机械手的安装位置变化，降低了机械手轨迹控制模 块的处理复杂度，另外，多机械手控制模块只需要将目标抓取物成像平面坐标系坐标发送 给各机械手轨迹控制模块，由各机械手轨迹控制模块负责对各自需要抓取的目标物的坐标 进行坐标转换，简化了多机械手控制模块的复杂度。
[0067] (5)本发明的机械手作为机械臂本体与末端执行器的连接机构，在机械臂最后一 个关节的轴向上具有弹性。同时该机构在该方向上具有预紧力，当这个方向上的载荷小于 预紧力的时候，该机构作为一个刚体保证机械臂的刚度；当这个方向上的冲击载荷大于对 应预紧力的时候，该机构会压缩变形吸收冲击势能，保护机械臂本体。
【附图说明】
[0068]图1为本发明系统组成框图；
[0069] 图2为本发明垃圾目标识别单元一种实现方式示意图；
[0070] 图3为本发明基于机器视觉的动态目标信息提取示意图；
[0071 ]图4为本发明深度学习网络模块示意图；
[0072] 图5为本发明垃圾目标识别单元另外一种实现方式示意图；
[0073] 图6为本发明计算机形态学识别模块流程图；
[0074] 图7为本发明人工辅助识别模块流程图；
[0075]图8为本发明剔出重复目标流程图；
[0076] 图9为本发明垃圾分拣控制单元组成框图；
[0077] 图10为本发明垃圾分拣控制流程图；
[0078] 图11为本发明具有单向缓冲功能的末端执行机构示意图；
[0079]图12为图11中相关参数不意图；
[0080]图13为本发明末端磁性过载保护机构示意图；
[0081 ]图14为图13相关参数不意图。
【具体实施方式】
[0082]下面，首先对本发明涉及的几个坐标系进行说明：
[0083] ?图像坐标系
[0084]图像坐标系描述单个像素在整幅图像中的位置坐标，坐标系原点设在图像左上角 的像素点，坐标为(〇,〇)，图像坐标系横轴为水平方向，最大值1600,图像坐标系纵轴为垂直 方向，最大值为1200,即图像宽度为1600X1200。
[0085] ?传送带平面坐标系
[0086]传送带平面坐标系的原点为传送带边缘的一个固定点0C，XC轴为沿传送带的运动 方向，Yc位于传送带平面且与Xc轴垂直。
[0087] #N个机械手坐标系
[0088]第i个机械手的机械手坐标系为XRi〇RiYRi，原点为机械手的基座与传送带平面的交 点，轴ZR垂直与传送带平面，轴XR、轴Yr分别与传送带平面坐标系的轴XC和轴Y C方向一致。 [0089] ?人机纠错接口坐标系/本地坐标系
[0090] 以屏幕的左上角的第一个像素点为原点，横坐标为水平方向，纵坐标为垂直方向；
[0091] 下面结合附图及实例对本发明做详细说明，本发明一种生活垃圾自动分拣系统包 括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置 安装的采样相机；
[0092] 采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别 单元；
[0093]垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特 点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃 圾分拣控制单元；
[0094] 垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位 置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿 信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标 物。
[0095] 下面以目标物为生活垃圾中的瓶子为例进行详细说明。
[0096](一)垃圾目标识别单元
[0097]垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物 进行识别，得到目标的位姿信息。
[0098] (1)深度学习+人工交互
[0099] 如图2所示，采样相机(摄像头)实时拍摄传送带上的物品，得到视觉反馈图像，人 机纠错接口可以采用目前常用的触摸屏的方式，深度学习网络和中间结果综合处理单元都 运行在工控机上，各个部分组合完成对传送带上目标物的识别。
[0100] (1.1)深度学习网络
[0101] 实时接收拍摄的视觉反馈图像，对接收的每帧图像进行深度学习处理，即多层卷 积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在 拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以 及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元;将处理后的图 像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像 坐标系X轴之间的夹角；
[0102] ?对输入的图像分层卷积和池化。
[0103] ①输入图像的数值矩阵为Mo,尺寸为MXN，本方案采用1600X1200。将数值矩阵为 Mo与卷积核Hkl作卷积运算：
[0104] M\k = M0 ? Hkl
[0105] 其中，⑧表示矩阵卷积。Hkl为第1层的第k个特征的卷积核矩阵，k=l"_256,即第一 层共256个特征卷积核，H kl的参数由VGG16模型得到。Mlk为深度网络第1层的第k个输出，即 第一层的卷积输出共256个。
[0106]②将第一层的卷积结果Mlk作池化处理，本方案采用最大值池化方法，即将Mlk中每 2 X 2个局部矩阵合并为一个元素，以四个元素中最大值作为结果，池化时的步长为2。
[0107] Mik池化后的结果为Mike，Mikc的尺寸为原尺寸的一半。
[0108] ③将第一层的卷积池化结果Mlk。输入到第二层，得到第二层的结果M2k。，依次得到 第1-1层的结果M(i- 1)kc。
[0109] 递推得到第1层的卷积和池化操作：
[0110] Mlk ? Hu
[0111] 其中Hkl为第1层的第k个特征的卷积核矩阵，Hk^参数由VGG16模型得到。Mlk为深 度网络第1层的第k个输出。
[0112] ?分类器操作。
[0113] ①将Mik尺寸为m Xn)池化为3个不同尺寸的目标矩阵Mkf 1，Mkf 2，Mkf 3。其中Mkf 1的尺寸 为4X4,池化时滑动窗的尺为
，步长为
.理得至ljMkf2、Mkf3,其中Mkf2的 尺寸为2 X 2，Mkf3的尺寸为1 X 1。
[01 M]②将Mik、Mkf2、Mkf3的兀素依次复制到一个向量，作为尺寸规则化向量Vk。将Vk分别 输入到三个全连接神经网络。第一个网络为类别网络，神经元个数为2背景和瓶子共两类）， 得到结果为Flk，尺寸为2X1。第二个网络为包围盒回归网络，神经元个数为8类别的包围盒 坐标信息），得到结果为F 2k，尺寸为8X1。第三个网络为角度回归网络，神经元个数为1，得到 结果为F3k，尺寸为1X1。
[0115] ?将Flk输入至分类器函数：
[0117]其中0为分类参数。将Flk代入上式得瓶子的概率:P = h(Flk)
[0118] 取P多b的概率作为目标瓶子，其中b为阈值参数。
[0119] F2k为包围盒的坐标x，y，w，h)，其中，xy为包围盒左上角坐标，wh为盒子的宽度和高 度，由此可得瓶子的坐标为：
[0122] F3k的结果为瓶子的角度A。
[0123] (1.2)人机纠错接口
[0124] 人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反 馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的 目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；
[0125] 以从传送带上的垃圾中识别瓶子目标为例，触摸屏上将深度学习网络后每帧图像 连续平滑的显示，图像上将深度学习网络得到的检测目标采用最小矩形框或者其他方式进 行着重显示，当人工通过触摸屏上的图像发现，最小矩形框中目标不是瓶子时，人工点击触 摸屏上对应的矩形框，该位置的矩形框以消失或者其他更亮、更暗的方式进行显示，触摸屏 将相应的坐标信息发送至中间结果综合处理单元。
[0126] (1.3)中间结果综合处理单元
[0127] 中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得 到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间 信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，同时 在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。具体实 现步骤如下：
[0128] (1.3.1)将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的 坐标；
[0129] (1.3.2)根据错误目标的时间T0,从接收到的深度学习网络处理结果中获取对应 帧图像Q0;
[0130] (1.3.3)将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏 距离，欧氏距离最小的目标即为图像Q0上的错误目标〇0，￥0,20)，将该目标的相关信息剔 除；
[0131] (1.3.4)以Q0为基准，依次获取下一帧图像上纵坐标为Y0的所有目标，根据拍摄 时目标物的运动速度v及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理 论位置与下一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图 像上对应错误目标的坐标系，直至在某一帧图像上获取不到纵坐标为Y0的目标；
[0132] 以Q0的下一帧图像Q1为例，Q1上对应错误目标的理论位置横坐标X1 = X0+v(T1 -T0);Q1的下一帧图像Q2对应错误目标的理论位置横坐标X2 = X0+v(T2-T0)，以此类推。当某 一帧图像上获取不到纵坐标为Y0的目标时，代表该目标由于传送带的移动已经不在摄像范 围内，因此，后续不需要对该目标进行相应的处理。
[0133] 在传送带上的目标识别对象是在不断移动的，摄像头对目标识别对象进行连续拍 照，在摄像头视野范围内，同一目标识别对象会在多张图像的不同位置出现，动态目标信息 提取时，需要剔除那些重复的目标识别信息。为解决同一目标识别对象在连续运动状态下 的信息提取，本文提出了基于机器视觉的动态目标信息提取方法。该方法示意如图2所示。 把目标识别对象在摄像头视野范围内的图像分为两类，一、刚进摄像头视野和出摄像头视 野的目标对象局部图像，如图3中的①和③;二、在摄像头视野范围内的目标对象的完整图 像，如图3中的②。
[0134] 假设传送带的速度为V。，摄像头的帧率为FPS，摄像头在Y方向的视野范围为SY，目 标对象的轮廓以不同姿态在Y轴上占用的最大长度L max。则：目标对象在图像中完整的成像 次数N。可以计算为：
[0136] N。取整数部分。
[0137] 因此，上述步骤（1.3.4)也可以预先通过计算完整的成像次数N。，当计算下一帧图 像上对应错误目标理论位置的次数达到NJ寸，表明目标由于传送带的移动已经不在摄像范 围内。
[0138] (1.3.5)对步骤(1.3.4)处理后的每帧图像所有目标的Y值进行统计，得到同一个 目标的连续被统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别 的正确目标，否则，将该目标的相关信息剔除。
[0139] 每帧图像上同一目标的确定方法，以一帧图像上的一个目标为基准，依次获取其 他帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差， 计算另外一帧图像上对应目标的理论位置，计算理论位置与该另外一帧图像上所有目标的 欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标。
[0140] 中间结果综合处理单元输出给后续外部应用的信息为每个目标在图像坐标系下 的坐标、角度、时间。当目标在多帧图像上出现时，根据上述方法确定每帧图像上的相同目 标，选择其中一帧图像上的坐标、角度、时间输出。或者对所有同一目标的坐标、角度、时间 取均值输出。
[0141] (2)形态学识别+人工交互
[0142] 如图5所示，包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块。
[0143] (2.1)形态学识别模块
[0144] 形态学识别模块实时接收拍摄的光学图像，对接收的每帧图像进行形态学处理， 即颜色聚类、最小轮廓提取、长度、宽度、长宽比分析处理后得到图像上检测目标在图像坐 标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进 行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间与上一帧识别出的 结果进行对比，判断是否为重复识别的同一目标物，如果是则放弃本次识别出的信息，否则 将本次识别的信息发送至中间结果综合处理单元;将处理后的图像发送至人工辅助处理模 块，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹 角；上述形态学识别过程如图6所示，具体步骤如下：
[0145] (2.1.1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽 比、最小长宽比；上述设定值可以根据待识别物体进行统计得到。
[0146] (2.1.2)对采集到的每帧图像做基于颜色的聚类处理；
[0147] (2.1.3)对聚类后的图像进行最小轮廓识别；
[0148] (2.1.4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小 轮廓长宽比是否在步骤（2.1.1)设定的相应最大最小范围之内，如果最小轮廓满足步骤 (2.1.1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边 为参考计算目标物角度信息。
[0149] 判断是否为同一目标重复识别的过程如图8所示，具体步骤如下：
[0150] (2.2.1)获取目标物的坐标信息、角度信息和时间信息；
[0151] (2.2.2)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标 信息、角度信息和时间信息；
[0152] (2.2.3)判断目标物和对比目标的Y坐标的差值，若差值小于对比目标Y坐标值的 10%，则执行步骤（2.2.4);否则从上一帧图像上重新获取对比目标，重新执行步骤 (2.2.3) ，直至与上一帧图像上所有目标比对完成；
[0153] (2.2.4)判断目标物与对比目标的角度差值是否小于对比目标角度值的30%，若 小于，则执行步骤（2.2.5)，否则从上一帧图像上重新获取对比目标，重新执行步骤 (2.2.3) ，直至与上一帧图像上所有目标比对完成；；
[0154] (2.2.5)根据拍摄时目标物的运动速度v及两帧时间差，计算目标物X坐标信息在 上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断 差值是否小于对比目标X坐标值的20%，若小于，则该目标物与对比目标为同一目标，否则 从上一帧图像上重新获取对比目标，重新执行步骤(2.2.3)，直至与上一帧图像上所有目标 比对完成。
[0155] (2.2)人工辅助处理模块
[0156]人工辅助处理模块如图7所示，对接收每帧处理后的图像进行连续显示，由人工根 据拍摄的视觉图像的具体情况，在显示的图像上点击尚为识别的目标物。计算机以人工点 击的图像坐标为几何中心，以两倍于预期被识别物平均面积的区域内进行霍夫直线识别， 在[0度，180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大 的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识 别的时间信息。最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到中间结果综 合处理单元。
[0157] 以从传送带上的垃圾中识别瓶子目标为例，触摸屏上形态学识别模块识别后每帧 图像连续平滑的显示，图像上将深度处理网络得到的检测目标采用最小矩形框或者其他方 式进行着重显示。当人工通过触摸屏上的图像发现未识别的瓶子时，人工点击触摸屏上相 应位置，计算机根基点击动作进行上述处理识别出人工辅助识别的目标无信息并以不同颜 色的高亮的方式进行显示，人工辅助处理模块将相应的坐标信息发送至中间结果综合处理 单元。
[0158] (2.3)中间结果综合处理单元
[0159]中间结果综合处理单元将计算机形态学识别模块和人工辅助处理模块发送的坐 标信息转换到图像坐标系下，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角 度和时间信息中剔除错误及重复的目标的信息，得到图像坐标系下，识别目标的坐标、角度 和时间信息，同时通过图8所示的分析流程，将接收的重复目标从图像上去掉，完成视觉识 另IJ。具体实现步骤如下：
[0160] (2.3.1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目 标物的坐标；
[0161 ] (2.3.2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比 对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助 补充的目标物信息；
[0162] (2.3.3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工 辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧 时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论 位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与 基准目标相同的目标，并将重复点击的目标进行剔除。
[0163] (二)垃圾分拣控制单元
[0164] 如图9所示，垃圾分拣控制单元包括目标抓取物位姿接收模块、多机械手调度控制 模块、与机械手数量一致且一一对应的控制机械手的轨迹控制模块，其中：
[0165] 目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区 中；
[0166] 多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信 息帧中目标抓取物在t2+A T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，A T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一 个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否 "空闲"，如果"空闲"，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲 的机械手对应的机械手轨迹控制模块；
[0167] 机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置;接收目标抓取 物的图像坐标系下的坐标信息之后，将工作状态置为"忙"，将该目标抓取物的坐标信息和 姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至 目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带 以外指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为"空闲"。
[0168] 假设N个机械手沿传送带运动方向排列，序号为1~N，多机械手调度控制模块循环 执行如下步骤(图10):
[0169] (1)判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位 姿信息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2);目标位姿信息帧按 照如下规则排列:不同拍摄时刻的目标位姿信息帧，按照时间先后顺序排列，同一拍摄时刻 的目标位姿信息帧，根据目标位姿信息帧的位置排列，靠近机械手的目标位姿信息帧排列 在前
[0170] (2)按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧；
[0171] (3)解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息(XPj)， yPj))和 拍摄时间ti;
[0172] (4)将目标抓取物在图像坐标系中坐标信息(XPj)，yPj))进行坐标转换，得到传送带 平面坐标系下的坐标信息(xcj)，yc_o);
[0173] (5)计算目标抓取物在t2+AT时刻的在传送带平面坐标系下的预测坐标( Xc_targe5t， yC-target);
[0174] XC-target = XC-0+vX (t2+ A T_tl)
[0175] yc-target - yc-o
%- f：arg et
[0177] yB_tatget =Mc^rj? Vc_,arge, 1 J [1
[0178] ZR-target = 0
[0179 ]其中，XR_int，yR_int，ZR_ int)为第i个机械手的准备位置在该机械手坐标系下的坐标； VR_hand为机械手沿点对点直线运动的预设速度，V为传送带的速度，Mcju为传送带平面坐标 系到第i个机械手坐标系的坐标转换矩阵，t2为当前时刻。
[0180] (6)当前时刻依次判断该目标抓取物预测坐标(Xe_target，ye_t arge3t)是否进入第1个 机械手~第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确 定该机械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进 入步骤(8);
[0181] 判断该目标抓取物预测坐标(Xc_targe5t，yc_targe5t)是否进入第i个机械手的工作区间 的方法为：
[0182] (6a)将第i机械手在第i个机械手坐标系XRiORiY Ri下的坐标原点（0,0)进行坐标转 换，得到该坐标原点在传送带平面坐标系下的坐标(xc_i，yc_i);
[0183] (6b)判断(Xc_target，yc_target)是否满足条件：
时，机械手的 工作空间为半径为R的扇形区域，满足，则认为(xc_targ(5t，yc_targ(5t)落入第i个机械手的工作 区域内，否则，认为(xC_target，yc_target)不在该机械手的工作区域内。
[0185] (7)判断待抓机械手工作状态是否"空闲"，如果"空闲"，则将该目标位姿信息帧中 的图像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8);如果 工作状态为"忙"，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8);
[0186] (8)按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)~步骤 (7)，直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9);
[0187] (9)清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。
[0188] 当需要分拣的目标物为玻璃瓶时，可以根据需要在机械手上增加一个测量抓取物 的重力传感器，当机械手根据控制抓取到目标物后，当瓶子离开传送带表面时，读取重量传 感器值，根据瓶子重量判断所抓取的瓶子是否为玻璃瓶，如果为玻璃瓶，则将瓶子送到传送 带以外指定的物料存储区，如果不是玻璃瓶的重量特征，则将瓶子放回到传送带上，之后， 控制机械手回到预设的准备位置，将工作状态置为"空闲"。根据目前市面上玻璃瓶的统计 重量，一般当重量超过200g时，则判定为玻璃瓶。
[0189] (三)机械手
[0190] 本发明生活垃圾自动分拣系统可以采用目前市面上常见的机械手，为了保护末端 执行器发生冲击碰撞时机械臂本体的安全，可以采用本发明提供的具有单向缓冲功能的末 端执行机构或者末端磁性过载保护机构。
[0191 ]例如，一种具有单向缓冲功能的末端执行机构，该机构作为机械臂本体与末端执 行器的连接机构，在空间全部六个自由度上都具有弹性。同时该机构在六个自由度上具有 预紧力，当每个方向上的载荷小于对应的预紧力的时候，该机构作为一个刚体保证机械臂 的刚度；当某个方向上的载荷大于对应预紧力的时候，该机构会压缩变形吸收冲击势能，保 护机械臂本体。
[0192] 如图11所示，末端执行保护机构，上锁紧螺母1、包括上法兰板2、弹簧套筒3、压缩 弹簧4、直线轴承5、下法兰板6、导向限位轴7、下锁紧螺母8、气爪法兰盘9、气爪10、夹持机构 11和机械臂12。
[0193] 夹持机构11与气爪10固定，气爪10上端通过气爪法兰盘9安装在下法兰板6的下 方;下法兰板6两端固定安装直线轴承5，两个直线轴承的内工作面与导向限位轴7配合，导 向限位轴7穿过下法兰板6的部分通过两个下锁紧螺母8连接，压缩弹簧4穿过导向限位轴7， 压缩弹簧4 一端与直线轴承的外端面固定，另一端通过安装在上法兰板1下方的弹簧套筒进 行固定，弹簧套筒2和直线轴承5位于下法兰板上方的部分作为压缩弹簧上下两端的导向限 位机构，通过压缩弹簧的预紧力使整个末端执行保护机构在正常工作时为刚性结构；导向 限位轴穿过上法兰板1的部分通过两个上锁紧螺母进行锁紧固定，上法兰板与机械臂固定， 气爪10接收机械臂上的气体，实现对夹持机构11的夹持控制。
[0194] 夹持机构11采用带有一定角度的钣金件，角度与钣金件下方弯曲部分的长度，需 要达到与夹持目标圆柱体紧密贴合，达到抓取状态最稳定且不容易脱落的目的，因此，通过 上述考虑，如图12所示，目标夹持物直径为0，夹持机构两个回转中心的距离为D，夹持机构 弯曲角度为9，夹持机构上半段长度Li，下半段长度L 2，目标夹持物中心相对夹持机构回转中 心高度差为H。以夹持机构对目标夹持物圆周的覆盖面积〇为优化目标， 〇越大说明抓取稳定 性越好。夹持机构的关键尺寸具体确定方法如下：
[0195] 首先根据机械臂末端最后一个关节（即上法兰板2处)伸出的距离要求，在要求范 围内选取目标夹持物中心相对夹持机构回转中心高度差为H和夹持机构上半段长度L 1;
[0196] 然后根据选定的和LjPH，可以得出：
[0198] 通过计算，从上式可以看出，〇与目标夹持物直径0、夹持机构弯曲角度0、夹持机 构上半段长度Li、下半段长度L 2、目标夹持物中心相对夹持机构回转中心高度差H相关。由于 本文针对的目标夹持物为主体为圆柱形的物体，例如市面上常见的普通瓶子，直径0在一 个确定的范围，因此0可以确定。综上所述，目标夹持物圆周的覆盖面积〇与夹持机构弯曲 角度9以及夹持夹片弯曲后的长度L2有关。
[0199] 夹持物圆周的覆盖面积〇为优化目标，〇越大说明抓取稳定性越好。通过计算，根据 机构尺寸要求，当夹片弯曲后的长度1^为15~20mm，时夹持机构弯曲角度0为110°~125°时 (以120°为最优角度），目标夹持物圆周的覆盖面积〇最大，夹持稳定性最好。
[0200] 机械臂运动到目标点的过程中，要保证整个末端执行保护机构是一个刚性机构， 当本发明机构在机械臂的作用下根据指令运动到目标的位置时，当目标所在环境使得抓取 过程中末端执行保护机构遭受到意外冲击时，由于夹持机构、气爪、气爪法兰盘9和下法兰 板6、直线轴承相对固连，构成一个刚性体，冲击力带动刚性体运动，压缩弹簧在冲击力的作 用下进一步压缩，对冲击力进行缓冲，起到对机械臂的保护作用。
[0201] 为了保证在机械臂运动到目标点的过程中，要保证整个末端执行保护机构是一个 刚性机构，以及在抓捕过程中未发生意外冲击过程中末端执行保护机构是一个刚性机构， 因此必须保证压缩弹簧预紧力。压缩弹簧预紧力计算区别一般预紧力计算方法是加入了机 械臂末端执行机构的最大加速度，压缩弹簧的预紧力需要保证末端抓取机构在机械臂最大 加速度运动时，压缩弹簧不发生形变。假设机械臂末端最大加速度是a，末端执行机构的质 量为 m，当a竖直向上时，压缩弹簧所受到的压力最大，此时压力为弹簧预紧力的临界值。
[0202] 例如，如图13、14所示，一种机器人末端磁性过载保护机构，包括上磁性法兰111、 下磁性法兰112、气爪10、夹持支架114和夹持夹片115;上磁性法兰112固定在机械臂末端， 下磁性法兰112下端安装气爪，气爪10下端安装夹持支架114,夹持支架114安装夹持夹片 115;所述的下磁性法兰112与上磁性法兰接触面中心位置设置定位凸起，该接触面其他位 置设置一个防转凸起，上磁性法兰111对应位置设置相应的凹槽;上磁性法兰111与下磁性 法兰112之间通过磁力作用连接在一起，使得整个机构在正常工作时为刚性结构；当夹持支 架114和夹持夹片115发生碰撞时，上磁性法兰111和下磁性法兰112脱离，从而吸收冲击能 量保护机械臂，气爪117接收机械臂上的气体，实现对夹持支架114和夹持夹片115的夹持控 制。
[0203] 本发明下磁性法兰上设置圆锥型的定位凸起和防转凸起，与上磁性法兰上的对应 凹槽相互配合保证正常工作时末端机构与机器人之间不发生相对运动。定位凸起为圆锥 型，对中定位圆锥高6~13mm，直径15~24mm。防转凸起为圆锥型，防转定位圆锥高4~7mm， 直径8~11mm。为了保证机构可靠工作，圆锥的直径与高度的比在1.8:1最合适，既能有效的 对中定位，又不干涉机构碰撞时分离的动作。
[0204]末端磁性过载保护机构与上面的具有单向缓冲功能的末端执行机构共性的部分 采用同样的原理及方法确定，此处不过多进行赘述。
[0205]本发明未详细说明部分属于本领域技术人员公知常识。
【主权项】
1. 一种生活垃圾自动分拣系统，其特征在于:包括垃圾目标识别单元、垃圾分拣控制单 元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机； 采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单 元； 垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对 光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣 控制单元； 垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判 断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转 换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。2. 根据权利要求1所述的一种生活垃圾自动分拣系统，其特征在于:所述的垃圾目标识 别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的 位姿信息。3. 根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于:所述的垃圾目标识 别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块； 形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综 合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系 下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该 目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图 像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后 的图像发送至人工辅助处理模块，否则不发送;所述的时间为图像拍摄时间，所述的角度为 目标所在轴线与图像坐标系X轴之间的夹角； 人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图 像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工 辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平 面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进 行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元； 中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助 补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息 有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角度和拍 摄时间信息组成目标的位姿信息帧。4. 根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于:所述的形态学综合 处理具体步骤如下： (1) 设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长 宽比； (2) 对采集到的每帧图像做基于颜色的聚类处理； (3) 对聚类后的图像进行最小轮廓识别； (4) 对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽 比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判 断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角 度信息。5. 根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于:所述的中间结果综 合处理单元具体实现步骤如下： (1) 将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐 标； (2) 将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两 目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目 标物信息； (3) 以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击 帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度V及两帧时间差，计 算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一 个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相 同的目标，并将重复点击的目标进行剔除。6. 根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于:所述的人工辅助处 理模块的角度识别步骤为： 以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[〇度，180度]内10度 一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均 角度作为人工辅助识别出的角度。7. 根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于:所述的垃圾目标识 别单元包括深度学习网络、中间结果综合处理单元和人机纠错接口； 深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理，即多 层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间， 并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图 像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元;将处理后 的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与 图像坐标系X轴之间的夹角； 人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图 像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标 在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元； 中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错 误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息 中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目标物 的坐标、角度和拍摄时间信息组成目标的位姿信息帧。8. 根据权利要求7所述的一种生活垃圾自动分拣系统，其特征在于:所述的分类处理为 将多层卷积、池化操作后的最后一层即1层的每个结果分别进行如下处理： (1)将1层的第k个结果Mik池化为3个不同尺寸的目标矩阵Mkfi，Mkf2 ,Mkf3;其中Mkfi的尺寸 ml 「/7.1 μ η 为4X4,池化时滑动窗的尺寸步长为的尺寸为2X2,池化时滑动 ， J， 丄，' 窗的尺TMkf3的尺寸为IX I，池化时滑动窗的尺寸m，n，步长 ?1- . _ι 1_ _!.， 为m，n ;m X η为Mik的尺寸；(2) 将Mik、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk;将Vk分别输入 到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两类，得 到结果为F lk，尺寸为2X1;第二个网络为包围盒回归网络，神经元个数为8即分别为背景和 目标物的包围盒坐标信息，得到结果为F 2k，尺寸为8X1;第三个网络为角度回归网络，神经 元个数为1，得到结果为F3k，尺寸为I X 1; (3) 根据P = h(Flk)得到目标物的概率，其t Θ为分类参数;取P彡b的 7 概率作为目标物，其中b为预设的阈值参数；贝1J，目标物的坐标？2k为包围盒的坐标(X，y，w，h)，其中，xy为包围盒左上角 坐标，wh为盒子的宽度和高度;F3k的结果为目标物的角度。9. 根据权利要求7所述的一种生活垃圾自动分拣系统，其特征在于：中间结果综合处理 单元具体实现步骤如下： (1) 将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标； (2) 根据错误目标的时间T0,从接收到的深度学习网络处理结果中获取对应帧图像QO; (3) 将错误目标的坐标分别与上述对应帧图像的所有检测目标坐标计算欧氏距离，欧 氏距离最小的目标即为图像QO上的错误目标(Χ0，Υ0，Ζ0)，将该目标的相关信息剔除； (4) 以QO为基准，依次获取下一帧图像上纵坐标为YO的所有目标，根据拍摄时目标物的 运动速度V及两帧时间差，计算下一帧图像上对应错误目标的理论位置，计算理论位置与下 一帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标位置即为下一帧图像上对应错 误目标的坐标系，直至在某一帧图像上获取不到纵坐标为YO的目标； (5) 对步骤(4)处理后的每帧图像所有目标的Y值进行统计，得到同一个目标的连续被 统计的次数，若在规定的时间内统计次数达到预设的阈值，则该目标为识别的正确目标，否 则，将该目标的相关信息剔除。10. 根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于:所述的垃圾分拣 控制单元包括目标抓取物位姿接收模块、多机械手调度控制模块、与机械手数量一致且一 一对应的控制机械手的轨迹控制模块，其中： 目标抓取物位姿接收模块，接收外部输入的目标位姿信息帧将其存入接收缓冲区中； 多机械手调度控制模块，提取接收缓冲区中的目标位姿信息帧，计算目标位姿信息帧 中目标抓取物在t2+△ T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，△ T为 机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机 械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否"空 闲"，如果"空闲"，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机 械手对应的机械手轨迹控制模块； 机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置;接收目标抓取物的 图像坐标系下的坐标信息之后，将工作状态置为"忙"，将该目标抓取物的坐标信息和姿态 角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标 抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外 指定的物料存储区，之后，控制机械手回到预设的准备位置，将工作状态置为"空闲"。11. 根据权利要求10所述的一种生活垃圾自动分拣系统，其特征在于:假设N个机械手 沿传送带运动方向排列，序号为1~N，多机械手调度控制模块循环执行如下步骤： (1) 判断当前时刻接收缓冲区是否有新的目标位姿信息帧，如果有，将新的目标位姿信 息帧存入当前抓取队列中，进入步骤(2)，否则，直接进入步骤(2); (2) 按照先进先出的原则，选取抓取队列中的第一个目标位姿信息帧； (3) 解析目标位姿信息帧中的目标抓取物的图像坐标系下坐标信息（XPj)，yPJ))和拍摄 时间ti; (4) 将目标抓取物在图像坐标系中坐标信息(XPJ)，yPJ))进行坐标转换，得到传送带平面 坐标系下的坐标信息(xc_o，yc_o); (5) 计算目标抓取物在t2+Δ T时刻的在传送带平面坐标系下的预测坐标（Xc_targe3t， yC-target); (6) 当前时刻依次判断该目标抓取物预测坐标(XC_targe3t，K_targe3t)是否进入第1个机械手 ~第N个机械手的工作空间，如果该目标抓取物进入某一个机械手的工作空间，则确定该机 械手为待抓机械手，进入步骤(7)，否则，将该目标位姿信息帧保存到暂存队列中，进入步骤 (8)； (7) 判断待抓机械手工作状态是否"空闲"，如果"空闲"，则将该目标位姿信息帧中的图 像坐标系坐标和姿态角信息发送给该机械手对应的轨迹控制模块，进入步骤(8);如果工作 状态为"忙"，则将该目标位姿信息帧保存到暂存队列中，进入步骤(8); (8) 按照先进先出的原则，选取下一个目标位姿信息帧，重新执行步骤(3)~步骤(7)， 直到选取完抓取队列中的所有目标位姿信息帧，进入步骤(9); (9) 清空抓取队列，将暂存队列中的所有目标位姿信息帧存入抓取队列。12. 根据权利要求11所述的一种生活垃圾自动分拣系统，其特征在于:步骤（1)中抓取 队列中目标位姿信息帧按照如下规则排列：不同拍摄时刻的目标位姿信息帧，按照时间先 后顺序排列，同一拍摄时刻的目标位姿信息帧，根据目标位姿信息帧的位置排列，靠近机械 手的目标位姿信息帧排列在前。13. 根据权利要求1所述的一种生活垃圾自动分拣系统，其特征在于:所述的机械手为 具有单向缓冲功能的末端执行保护机构或者带有末端磁性过载保护的机构。14. 根据权利要求13所述的一种生活垃圾自动分拣系统，其特征在于:具有单向缓冲功 能的末端执行保护机构包括上法兰板(2)、上锁紧螺母（1)、弹簧套筒(3)、压缩弹簧(4)、直 线轴承(5)、下法兰板(6)、下锁紧螺母(8)、导向限位轴(7)、气爪法兰盘(9)、气爪（10)、夹持 机构(11); 夹持机构（11)与气爪（10)固定，气爪（10)上端通过气爪法兰盘(9)安装在下法兰板(6) 的下方;下法兰板(6)两端固定安装直线轴承(5)，两个直线轴承的内工作面与导向限位轴 (7)配合，导向限位轴(7)穿过下法兰板(6)的部分通过两个下锁紧螺母(8)连接，压缩弹簧 (4)穿过导向限位轴(7)，压缩弹簧(4) 一端与直线轴承的外端面固定，另一端通过安装在上 法兰板（1)下方的弹簧套筒进行固定，弹簧套筒(2)和直线轴承(5)位于下法兰板上方的部 分作为压缩弹簧上下两端的导向限位机构，通过压缩弹簧的预紧力使整个末端执行保护机 构在正常工作时为刚性结构；导向限位轴穿过上法兰板（1)的部分通过两个上锁紧螺母进 行锁紧固定，上法兰板与机械臂固定，气爪（10)接收机械臂上的气体，实现对夹持机构（11) 的夹持控制。15.根据权利要求13所述的一种生活垃圾自动分拣系统，其特征在于:带有末端磁性过 载保护的机构包括上磁性法兰（I11 )、下磁性法兰（112)、气爪（10)、夹持支架（I 14)和夹持 夹片(115); 上磁性法兰（112)固定在机械臂末端，下磁性法兰（112)下端安装气爪，气爪（113)下端 安装夹持支架（114)，夹持支架（114)安装夹持夹片（115);所述的下磁性法兰（112)与上磁 性法兰接触面中心位置设置定位凸起，该接触面其他位置设置一个防转凸起，上磁性法兰 (111)对应位置设置相应的凹槽;上磁性法兰（111)与下磁性法兰（112)之间通过磁力作用 连接在一起，使得整个机构在正常工作时为刚性结构；当夹持支架（114)和夹持夹片（115) 发生碰撞时，上磁性法兰（111)和下磁性法兰（112)脱离，从而吸收冲击能量保护机械臂。
【文档编号】B07C5/34GK106000904SQ201610364283
【公开日】2016年10月12日
【申请日】2016年5月26日
【发明人】朱成林, 韩志富, 张科, 陈志鸿, 杨涛, 王燕波, 李常, 梁斌焱, 邹河彬, 许剑
【申请人】北京新长征天高智机科技有限公司