基于机器视觉的信息识别及表面缺陷在线检测方法
【技术领域】
[0001] 本发明属于机器视觉技术领域，具体涉及一种基于机器视觉的信息识别及表面缺 陷在线检测方法。
【背景技术】
[0002] 在工业生产领域中，在印刷、包装等工业生产过程中随着机械设备自动化程度、生 产效率和质量要求越来越高；随着机械设备技术水平不断发展，生产速度提高，为了提高整 个产品生产效率同时保证产品质量，生产质量检测效率也需要不断改进提高；传统质量检 测是通过人工实时在线检测产品质量，效率低，可控性低，同时可能存在漏检。可变信息高 速印刷（如：票据号码、一维码、二维码信息）生产过程中，需要实时检测是否漏码，印错， 印重复等；印刷包装、电子元器件、汽车零部件、电路板等工业产品生产过程中为了提高产 品生产质量，同时也需要对生产产品质量或可变信息进行检测；传统生产中，工业产品生产 质量监控都是通过人工来完成，由此存在弊端：人工成本高，效率低、可靠性低、容易出现漏 检。
【发明内容】
[0003] 本发明的目的是提供一种基于机器视觉的信息识别及表面缺陷在线检测方法，解 决了现有技术中存在的工业产品生产质量监控人工成本高，效率低、可靠性低、容易出现漏 检的问题。
[0004] 本发明所采用的技术方案是，基于机器视觉的信息识别及表面缺陷在线检测方 法，具体按照以下步骤实施：
[0005] 步骤1、图像采集；
[0006] 步骤2、数据建模；
[0007] 步骤3、分析处理实时图片，识别变化信息，同时分析产品表面是否存在缺陷；
[0008] 步骤4、对反馈结果进行处理控制。
[0009] 本发明的特点还在于，
[0010] 步骤1具体为：
[0011] 位于工业流水线旁的传感器感知到产品经过时，触发工业相机实时采集产品图 片，并将图片数据通过网线发送给计算机。
[0012] 步骤2具体按照以下步骤实施：
[0013] 步骤（1. 1)、选取步骤1中获得的图片数据中的字符区图像，对字符区图像进行二 值化处理：假设按行扫描字符区图像，设f (i，j)表示第i行第j列像素点的值，Gs(i，j)表 示第i行第j个像素点前S个像素点灰度值之和，则
[0014]
[0015] 其中，k为设定变量，k的取值为：j-k>j_s and j_k〈j，
[0016] 然后进行二值化判断：
[0017]
[0018] 即如果某个像素点的值小于其前S个像素点的均值的（100-t)/100倍时，则设置 该像素点为1，否则设置为〇,至此，图像二值化完成；
[0019] 步骤（1. 2)、对步骤（1. 1)得到的二值图进行单个字符切分处理，单个字符切分处 理包括对二值图垂直方向和水平方向分别进行投影：
[0020] 垂直投影：
[0021] 设f(i，j)为步骤（1. 1)得到的二值图中第i行第j列像素值，设二值图宽度为w， 高度为h，则垂直投影结果Pv(i)的计算公式如下：
[0022]
[0023] 具中 0<i<h，
[0024] 通过垂直投影曲线，得到二值图中字符区域的曲线峰值位置，峰值两边的波谷位 置则分别是二值图中字符区域的上下边界位置，由此便得到二值图中字符区域上下坐标位 置；
[0025] 水平投影：
[0026] 设f(i，j)为二值图中第i行第j列像素值，设二值图宽度为w，高度为h，则垂直 投影结果Ph(j)的计算公式如下：
[0027]
[0028] 其中 0〈j〈w，
[0029] 通过水平投影曲线，搜索到二值图中字符区域中每个字符的左边界和右边界，由 此得到每个字符的左右坐标；
[0030] 通过对二值图垂直方向和水平方向的投影，得到二值图中每个字符的上、下、左、 右四个坐标，从而达到对二值图进行单个字符切分处理；
[0031] 步骤（1. 3)、步骤（1. 2)二值图字符切分处理完成后，利用三层神经网络对切分后 的每个字符进行训练，提取切分后的每个字符的特征向量作为三层神经网络的输入层，通 过不断学习训练提高字符识别率，从而得到可变信息字符库。
[0032] 步骤3具体按照以下步骤实施：
[0033] 步骤a、首先将信息完整、表面没有缺陷的产品图片作为标准图像，然后选择标准 图像中字符特征区域作为配准模板；
[0034] 步骤b、创建对比模板，对比模板由一个上限模板和一个下限模板组成，具体为：
[0035] 设I为步骤a中的标准图像，I (X，y)为I图像中坐标（X，y)点的灰度值，T1为上 限模板图像，Tl(x，y)为T1图像中坐标（x，y)点的值，T2为下限模板图像，T2(x，y)为T2 图像中坐标（x，y)点的值，V为标准图像中像素亮点变化明显的边缘图像，V(x，y)为V图像 中对应坐标（x，y)的值，其中，Tl(x，y)和T2(x，y)的计算公式如下：
[0036] T1 (x, y) = I (x, y) +max (absTh, V (x, y) *varTh) (1)
[0037] T2 (x, y) = I (x, y) -max (absTh, V (x, y) *varTh) (2)
[0038] 由T1 (x，y)和T2 (x，y)的值从而得到对比模版，上式中，varTh为设定的相对阈值 比例，varTh = 0. 15~0. 75, absTh为通过计算标准图像灰度直方图谷底得到的绝对阈值；
[0039] 步骤c、对采集到的原始图像进行可变信息识别和一维码二维码识别：可变信息 识别通过神经网络和步骤1. 3得到的可变信息字符库对采集到的图像中的字符信息进行 识别，包括产品编码、号码、文字、字母信息，一维码二维码识别通过国际标准编码规则对条 码图进行分析解码；
[0040] 步骤d、分析表面缺陷：首先通过位置配准，对实时检测图进行校准，使实时检测 图与步骤a中的配准模板位置完全对应，图像位置配准和校准具体过程是首先通过位置配 准得到一个仿射矩阵，再通过仿射矩阵对检测图进行仿射变换把检测图与配准模板完全配 准，放射变换形式如下：
[0041]
[0042] 其中，^ 为仿射矩阵，（x，y)为仿射变换前坐标，（u，v)为经过仿射变换 后坐标；
[0043] 通过步骤b得到的对比模板与检测图进行对比，检测图中灰度值超出上限模板和 下限模板中T1 (x，y)和T2 (x，y)的点作为缺陷点，然后对所有缺陷点进行统计，缺陷点的表 示公式如下：
[0044] 设D (x，y)为缺陷点，F (x，y)为检测点，则：
[0045] D (x, y) = F (x, y) < = T2 (x, y) or F (x, y) > = T1 (x, y) (3)
[0046] 由此得出检测图中产品表面是否存在缺陷。
[0047] 步骤4具体为：
[0048] 经步骤3检测后，合格品在产线上正常通过，若出现不合格品计算机及时发出报 警信号，同时计算机把不合格品位置信息发送给机械手，引导机械手移动至不合格品位置 剔除不合格品，于此同时发出停机信号控制停机。
[0049] 本发明的有益效果是，一种基于机器视觉的信息识别及表面缺陷在线检测方法， 通过机器替代人工解决了工业产品生产过程中质量监控效率低、可靠性低、漏检、人工成本 高等问题；使得工业生产进一步自动化、智能化、大大提高生产效率。
【具体实施方式】
[0050] 下面结合【具体实施方式】对本发明进行详细说明。
[0051] 本发明基于机器视觉的信息识别及表面缺陷在线检测方法，具体按照以下步骤实 施：
[0052] 步骤1、图像采集，步骤1具体为：
[0053] 位于工业流水线旁的传感器感知到产品经过时，触发工业相机实时采集产品图 片，并将图片数据通过网线发送给计算机，传感器在实际应用中一般选择光栅传感器；
[0054] 步骤2、数据建模，具体按照以下步骤实施：
[0055] 步骤（1. 1)、选取步骤1中获得的图片数据中的字符区图像，对字符区图像进行二 值化处理：假设按行扫描字符区图像，设f (i，j)表示第i行第j列像素点的值，Gs(i，j)表 示第i行第j个像素点前S个像素点灰度值之和，则
[0056]
[0057] 其中，k为设定变量，k的取值为：j-k>j_s and j_k〈j，
[0058] 狄后讲杆一佶ik半丨丨断.
[0059]
[0060] 即如果某个像素点的值小于其前S个像素点的均值的（100-t)/100倍时，则设置 该像素点为1，否则设置为〇,至此，图像二值化完成；
[0061] 步骤（1. 2)、对步骤（1. 1)得到的二值图进行单个字符切分处理，单个字符切分处 理包括对二值图垂直方向和水平方向分别进行投影：
[0062] 垂直投影：
[0063] 设f(i，j)为步骤（1. 1)得到的二值图中第i行第j列像素值，设二值图宽度为w， 高度为h. _垂首捋影结里的i+算公式如下：
[0064]
[0065] 其中 0〈i〈h，
[0066] 通过垂直投影曲线，得到二值图中字符区域的曲线峰值位置，峰值两边的波谷位 置则分别是二值图中字符区域的上下边界位置，由此便得到二值图中字符区域上下坐标位 置；
[0067] 水平投影：
[0068] 设f(i，j)为二值图中第i行第j列像素值，设二值图宽度为w，高度为h，则垂直 投影结果Ph(j)的计算公式如下：
[0069]
[0070] 其中 0〈j〈w，
[0071] 通过水平投影曲线，搜索到二值图中字符区域中每个字符的左边界和右边界，由 此得到每个字符的左右坐标；
[0072] 通过对二值图垂直方向和水平方向的投影，得到二值图中每个字符的上、下、左、 右四个坐标，从而达到对二值图进行单个字符切分处理；
[0073]步骤（1. 3)、步骤（1. 2)二值图字符切分处理完成后，利用三层神经网络对切分后 的每个字符进行训练，提取切分后的每个字符的特征向量作为三层神经网络的输入层，通 过不断学习训练提高字符识别率，从而得到可变信息字符库；
[007