一种基于机器视觉的自动换钎方法与流程

本发明是一种基于机器视觉的自动换钎方法，属于冶金设备技术领域机器视觉技术领域。

背景技术：

开铁口机是炼铁厂的一种常用设备，其功能主要是利用钢钎打开高炉铁口。随着高炉大型化的发展以及工业4.0的要求，对炉前设备的机械化、自动化水品的要求越来越高。而目前的高炉炼钢厂中，大多仍然采用的是人工换/卸钢钎，少数大型炼钢厂采用的自动换钎机在使用的过程中存在以下3个问题：(1)由于钎杆的长度和重量分布不均衡等因素导致钎杆出现歪斜，从而致使机械抓臂不能正常夹取钎杆。(2)受现场恶劣环境的影响，机械抓臂可能运行不到位出现抓空现象。(3)自动换钎机是执行装钎操作还是卸钎操作，目前仍然采用的是人工判断，未能实现全面的自动化、智能化。

技术实现要素：

为了改善炉前工人的劳动强度以及工作环境，进一步提高自动换钎机的可靠性、智能性，本发明提供一种基于机器视觉的自动换钎方法，不仅满足了自动化设备的生成要求，也提高了炉前设备的机械化、自动化水平。

本发明采取的技术方案为：

步骤1：安装工业摄像头、嵌入式处理器，工业摄像头的图像采集区域涵盖机械手、钎杆的区域。

步骤2：根据工业摄像头采集到的图像对其进行处理，利用高斯滤波、锐化、边缘检测、直线检测等步骤，从背景中分离、检测出钎杆的位置。

步骤3：判断钎杆是否“就位”。

步骤4：利用目标检测及目标跟踪算法，检测出机械抓臂的位置，并实时跟踪机械手的运动状态，判断机械手与钎杆的相对位置关系，依据两者的遮挡程度，判断机械手是否“到位”。

步骤5：能将检测、分析的结果传输给现场控制器，对自动换钎装置各个部件进行控制。

本发明一种基于机器视觉的自动换钎方法，技术效果如下：

1：通过机器视觉检测开铁口机是否已安装有钎杆，为机械臂控制器提供“装钎”及“卸钎”操作提供依据。

2：检测“钎架”上的钎杆是否处于“就位”状态；否则即给出信号以便控制系统驱动“钎架”上的“定位”部件工作至钎杆“就位”。

3：检测机械抓臂与“钎架”上的钎杆与已“就位”钎杆之间的相对位置，为机械抓臂控制器提供“启停”及“抓取”等动作提供依据。

4：本发明不仅满足了自动化设备的生成要求，也提高了炉前设备的机械化、自动化水平。

附图说明

图1为本发明的硬件结构原理图。

图2为本发明的工业摄像头安装位置及其视野示意图。

图3为本发明的工业摄像头拍摄图像示意图。

图4为本发明的机械手“到位”示意图。

图5为本发明的自动换钎机工作状态迁移图。

图6为本发明的嵌入式软件系统结构图。

具体实施方式

一种基于机器视觉的自动换钎方法，包括以下步骤：

步骤1：安装工业摄像头、嵌入式处理器，工业摄像头的图像采集区域涵盖机械手、钎杆的区域。

步骤2：根据工业摄像头采集到的图像对其进行处理，利用高斯滤波、锐化、边缘检测、直线检测等步骤，从背景中分离、检测出钎杆8的位置。

高斯滤波：是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

锐化：应用锐化工具可以快速聚焦模糊边缘，提高图像中某一部位的清晰度或者焦距程度，使图像特定区域的色彩更加鲜明。

边缘检测：是图像处理和计算机视觉中的基本问题，其目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化，这些包括(i) 深度上的不连续、(ii)表面方向不连续、(iii)物质属性变化和(iv)场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。

直线检测：即在原始图像中检测出直线，这里采用Hough直线检测，其思想为，在原始图像坐标系下的一个点对应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点，然后，原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有没有聚集点，这样的聚集点就对应了原始坐标系下的直线。

步骤3：判断钎杆是否“就位”。

步骤4：利用目标检测及目标跟踪算法，检测出机械抓臂的位置，并实时跟踪机械手4的运动状态，在拍摄区域内，判断机械手与待取钎杆的相对位置，若是机械手已经完全遮挡待取钎杆，则可视为机械手已经“到位”。

目标检测，也叫目标提取，是指从序列图像中将运动的前景目标从背景图像中提取出来。这里目标检测采用帧差法。帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f_k(x,y)和f_k+1(x,y)分别为图像序列中的第k帧和第k+1帧中像素点(x，y)的像素值，则这两帧图像的差值图像就如下列公式所示：

Diff_k+1(x,y)＝|f_k(x,y)-f_k+1(x,y)| (1-1)

上式中差值不为0的图像区域代表了由运动目标的运动所经过的区域(背景像素值不变)，又因为相邻视频帧间时间间隔很小，目标位置变化也很小。所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取目标。图7给出了帧差法的基本流程：(1)利用1-1式得到第k帧和第k+1帧的差值图像Diff_k+1；(2)对所得到的差值图像Diff_k+1二值化得到Q_k+1；

(3)为消除微小噪声的干扰，使得到的运动目标更准确，对Q_k+1进行必要的滤波和去噪处理，后处理结果为M_k+1。

目标跟踪是确定同一物体在图像序列的不同帧中的位置的过程，其跟踪方式可分为基于分割的跟踪和基于模型的跟踪。基于分割的跟踪是在每一帧中都要分割出所有的运动目标，然后与被跟踪目标进行匹配，从而达到跟踪的目的。基于模型的跟踪只需在第一帧中通过人工或自动的方式选定被跟踪目标，然后分析目标的颜色、纹理等特征，构建目标模板，在后续帧中，不需要再提取运动目标，只需在图像中通过某种策略搜索出该目标模板即实现对目标的跟踪。Mean Shift就是一种基于模型的跟踪方法，采用色彩或者灰度直方图分布的统计特性来描述目标特征。对初始帧图像中目标区域内所有的像素点，计算特征空间中每个特征值的概率，即建立目标模版。在以后的每帧图像中对可能存在目标的候选区域计算特征值，利用相似度函数度量目标模版与当前帧候选区域的相似性。通过求相似性函数最大值得到关于目标的Mean Shift向量，这个向量就是目标从初始位置向正确位置转移的向量，根据此向量就可以找到目标的正确位置。

用一个目标的颜色分布对图像中的目标进行描述，目标中心位于x₀，则目标模型表示为向量其中：

其中用y表示候选目标的中心，则候选模型表示为向量其中：

其中

以上两个公式中k[]为核函数，m为颜色空间中颜色特征的个数，u为颜色特征的特征值，b(x_i)为图像中x_i点处的像素值(颜色值)。目标跟踪可以简化为寻找最优的y，使得q与p(y)最大程度相似。

步骤5：能将检测、分析的结果传输给现场控制器PLC，对自动换钎装置各个部件进行控制。

一种基于机器视觉的自动换钎方法，还包括：通过在钎架7位置为工业摄像头配置一个云台，当云台运动到工位后，由现场控制器控制云台运动，将工业摄像头的拍摄视野5移动到开铁口机的钎杆安装位置，将工业摄像头拍摄的图片发送到嵌入式处理器中，通过高斯滤波、锐化、Sobel算子边缘检测以及Hough直线检测。图像经过一系列处理之后，图中存在的直线会被标记出来，开铁口机处存在直线，即代表已装配钎杆8。

高斯滤波：是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

锐化：应用锐化工具可以快速聚焦模糊边缘，提高图像中某一部位的清晰度或者焦距程度，使图像特定区域的色彩更加鲜明。

Sobel算子边缘检测：在边缘检测中，常用的模板是Sobel算子，在技术上，它是一个离散的一阶差分算子，用来计算图像亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其法矢量。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，其公式如下:

图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。

然后可用以下公式计算梯度方向。

Hough直线检测：Hough变换的基本原理在于利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点，这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题，也即把检测整体特性转化为检测局部特性。Hough直线检测思想为：在原始图像坐标系下的一个点对应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点，然后，原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有没有聚集点，这样的聚集点就对应了原始坐标系下的直线。

具体实施步骤：

1、按照结构原理图安装硬件，主要包括工业摄像头、嵌入式处理器。由于自动换钎机的视觉模块主要负责检测“钎架”上的钎杆8和机械手4是否“就位”，因此图像采集区域应该涵盖机械手4和尽可能多的钎杆8的区域，如图2所示。

图2中：1为小车轨道，2为工业摄像头，3为小车，4为机械手，5为摄像头视野区域，6为代取钢钎，7为钎架，8为钎杆。

2、工业摄像头安装好后，其拍摄到的图像如图3所示：根据工业摄像头采集到的图像，视觉模块的图像分析及处理采用基于OpenCV的开源计算机视觉处理库，利用高斯滤波、锐化、Sobel算子边缘检测以及Hough变换直线检测等步骤，从背景中分离、检测出钎杆8的位置。

3、计算图3中直线与参考虚线的夹角a，其中参考直线为系统初始化阶段检测处于“就位”状态的钎杆8得到了初始位置。若夹角a<b(其中b为实验门槛值)，则系统认为钎杆8已“就位”，于是置POLE_STATUS寄存器为1，否则为0，如表1所示。

4、利用目标检测及目标跟踪算法，检测出机械抓臂的位置，并实时跟踪机械手4的运动状态，判断机械手4与钎杆8的相对位置关系(遮挡)，依据两者的遮挡程度判断机械手4是否“到位”，若机械抓臂已到位，则置MAIN_STATUS寄存器为1，否则置0。其中机械手臂“就位”示意图如果4所示：即d′-Δ≤d≤d′时，系统认为机械抓臂已到位，其中d′为实验测试的最优值，Δ为允许偏差。

5、本发明还具备监测开铁口机上是否装有已经装配了钎杆的功能。通过在钎架7位置为摄像头配置一个云台，当行走台车运动到工位后，由现场控制器控制云台运动，将摄像机的拍摄视野移动到开铁口机的钎杆安装位置，将摄像头拍摄的图片发送到嵌入式处理器中，通过高斯滤波、锐化、Sobel算子边缘检测以及Hough直线检测，检测图像中是否存在特定特征直线。

6、MODBUS通信协议：

本发明采用的是MODBUS现场总线标准，而MODBUS总线的RTU数据格式采用表2所示。

表1保持寄存器说明

表2 MODBUS RTU数据帧格式

7、本发明装置包括硬件和软件两个部分：硬件部分主要由工业摄像头和嵌入式处理器两部分组成；软件部分主要包括图像采集，MODBUS协议栈，图像分析、处理，参数设置、调试以及任务调度。