基于结构纹理特征的灯管质量检测与瑕疵分类方法及系统的利记博彩app
【专利摘要】本发明公开了一种基于结构纹理特征的灯管质量检测与瑕疵分类方法及系统和系统，其利用滑动窗口和纹理特征提取方法获取灯管瑕疵部位；将待分类瑕疵图像和预收集的各类瑕疵样本图像分割成n个子窗口，并为所有子窗口计算ST描述子；利用计算出的ST描述子为待检测图像的每一个子窗口与所有类分别计算子窗口?类间相似度，进而计算图?类间相似度，最终将待分类瑕疵图像归类为图?类间相似度最大的一类。本节能灯管成品质量检测方法，检测效率和分类精度高，同时大大降低了检测人员的劳动强度。
【专利说明】
基于结构纹理特征的灯管质量检测与瑕疵分类方法及系统
技术领域
[0001] 本发明属于产品质量检测技术领域，具体涉及一种基于结构纹理特征的灯管质量 检测与瑕疵分类方法及系统。
【背景技术】
[0002] 在生产节能灯管过程中，需要将一层荧光粉均匀地喷涂在节能灯管壁内，荧光粉 喷涂质量直接影响到节能灯的使用效果。若生产时由于工艺或偶然因素使荧光粉涂层产生 划伤、黄斑、气线等瑕疵，这些次品灯管将无法出厂，需要按照不同瑕疵类别进行不同流程 的再加工。因此灯管表面瑕疵检测和分类对节能灯的产品质量检测至关重要。
[0003] 节能灯管的产品质量检测过程需要能够快速准确地对节能灯管表面瑕疵情况进 行检测和分类，实时高效的在线检测和分类手段对于快速的节能灯管流水线成品质量检测 非常重要。然而，由于产品加工过程工艺等因素，成品节能灯管的质量检测成为产品质量自 动检测领域的一个技术难题。
[0004] 节能灯管的瑕疵检测和分类在现有工艺条件与技术背景下，一般采用离线人工肉 眼进行检测和分类。由操作工人戴墨镜在强光下目测灯管是否存在瑕疵，并按照经验法确 定瑕疵类别，虽然在一定程度上满足了检测和分类需求，但人工检测存在几个问题:一是人 在长时间的单调、枯燥的检测过程中易于疲惫，容易出错;二是工厂的恶劣生产环境以及检 测时不停注视强光对工人肉眼的伤害，导致检测工作很难招工;三是肉眼检测自动化程度 低，生产效率低下，不能满足企业快速、精确检测的实际需求。
[0005] 可见，单纯的人工检测分类费时费力且准确性低，可靠性差，节能灯管生产企业迫 切需要灯管表面瑕疵质量自动检测和分类系统。专利号为ZL 201310015434.4的中国发明 专利"一种基于机器视觉的U型粉管的检测方法及其检测系统"公开了一种通过图像采集、 特征提取、瑕疵判别计算，最终判定被测粉管涂粉质量合格还是不合格，该方法及系统能够 实现U型粉管涂粉效果的实时检测，但仅仅用于判断U型粉管瑕疵有无，无法进一步对各种 瑕疵类别进行有效区分。
[0006]针对荧光灯管目前生产工艺局限性，本发明充分考虑批量检测、实时性、分类效率 和精度等实际因素，实现了节能荧光管粉管瑕疵的分类。
【发明内容】
[0007] 针对现有技术所存在的上述技术缺陷及不足，本发明提供了基于结构纹理特征的 灯管质量检测与瑕疵分类方法，实现了粉管成品表面瑕疵的实时检测以及瑕疵类型的区 分，检测效率和分类精度高，提高了节能灯管生产流水线的效率，同时大大降低了检测人员 的劳动强度。
[0008] 本发明同时提供了一种基于结构纹理特征的灯管质量检测与瑕疵分类系统，利用 该系统，可以迅速高效的检测出合格灯管和瑕疵灯管，并可实现对瑕疵的分类。
[0009] -种基于结构纹理特征的灯管质量检测与瑕疵分类方法，包括：
[0010] (1)对各类别瑕疵采集一个或多个样本图像，建立样本库；具体实施过程一般为： 预先收集节能灯管生产公司人工分拣出的灯管次品，对次品灯管按照瑕疵种类进行人工区 分，将灯管瑕疵归类为几种典型类别，对各类别瑕疵采集一定数量图像作为样本库;令各个 类别为Cj，j = l，...，z，其中z为总的类别数，0={&，&，...，CZ};
[0011] (2)实时采集待检测的灯管图像，得到待检测图像；
[0012] (3)利用滑动窗口和纹理特征提取方法检测待检测图像是否存在瑕疵，若待检测 图像不存在瑕疵，则判断为合格灯管;若待检测图像存在瑕疵，计算出待检测图像中包含瑕 疵的感兴趣区域(R〇I，Region of Interesting);
[0013] (4)截取瑕疵图像的感兴趣区域，视为待分类图像X，针对每一个待分类图像，将其 分割为η个子窗口，将样本库中的每一个样本图像分割成η个子窗口，将每个样本图像视为η 个小窗口的集合;η为大于零的自然数；
[0014] (5)为步骤(4)得到的所有子窗口计算ST描述子；
[0015] (6)利用ST描述子为待分类图像的每一个子窗口与每一个类中的子窗口分别计算 子窗口-类间(13(]，131〇〇1<-1:〇-(31&88)相似度；
[0016] (7)计算待分类图像与每一个类的样本图像的图-类间相似度；
[0017] ⑶将待分类图像归类为图-类间（IC，image-t 〇-class)相似度最大的一类；
[0018] 重复步骤(2)-(8)实现对多个节能灯管的质量检测和瑕疵分类。
[0019] 作为优选，η-般为4~9的自然数。每一个待分类图像分割为m*m个子窗口，n=m2。
[0020] 作为优选，步骤(5)中，计算ST描述子的方法为：
[0021] (5-1)将子窗口分为S行K列个小窗口区域，共得到S*K个子带，令为第X个子窗 口的第k个子带的像素灰度值集合，k=l，. . .，S*K，x = l，2,. . .，n;S，K为大于1的自然数； [0022] (5-2)计算每个子窗口的以下三个ST描述子：
[0023]
[0024]
[0025]
[0026] 上式中E{}为求期望运算，为第X个子窗口的第k个子带的子带均值系数;为 第X个子窗口的第k个子带的子带标准差系数;/?为第X个子窗口中第k个子带和第1个子带 间的互相关系数。
[0027] 作为优选，步骤(6)中，计算子窗口-类间相似度的方法如下：
[0028] (6-1)计算待分类图像的每一个子窗口与各类样本图像的各子窗口间相似度：
[0029]
[0030] lk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的均值相 似度：
[0031]
[0032] Ck(x，y)为待分类图像中第x个子窗口与各类样本图像中的第y个子窗口的标准差 相似度：
[0033]
[0034] Κι和K2为远小于1的常量；
[0035] rk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的互相关 相似度；
[0036]
[0037] (6-2)得出子窗口-类间相似度：
[0038]
[0039] 为各类样本图像第y个子窗口的第k个子带的子带均值系数;σ?为各类样本图 像第y个子窗口的第k个子带的子带标准差系数；为各类样本图像第y个子窗口中第k个 子带和第1个子带间的互相关系数。
[0040] 作为优选，其中 Κι = 0·01 ~0·02，Κ2 = 0·03~0·05。
[0041] 作为优选，计算待分类图像与每一个类的样本图像的图-类间相似度的方法如下：
[0042]
[0043] Q(X，CJ为待分类图像与每一个类的样本图像的图-类间相似度；Π 为各项连乘运 算。
[0044] 最终将待分类图像归类为图-类间相似度最大的一类：
[0045]
[0046] -种基于纹理特征灯管成品质量检测及瑕疵分类系统，包括：
[0047] 图像采集单元，用于实时采集待测节能灯管图像，得到待检测图像；
[0048]图像处理单元，用于对所述待检测图像进行处理，并计算出灯管瑕疵分类结果， 具体为：
[0049] (i)利用滑动窗口和纹理特征提取方法检测待检测图像是否存在瑕疵，若待检测 图像不存在瑕疵，则判断为合格灯管;若待检测图像存在瑕疵，计算出待检测图像中包含瑕 疵的感兴趣区域；
[0050] (ii)截取瑕疵图像的感兴趣区域，视为待分类图像，针对每一个待分类图像，将其 分割为η个子窗口，将样本库中的每一个样本图像分割成η个子窗口，将每个样本图像视为η 个小窗口的集合;η为大于零的自然数；
[0051 ] (i i i)为步骤(i i)得到的所有子窗口计算ST描述子；
[0052] (iv)利用ST描述子为待分类图像的每一个子窗口与每一个类中的子窗口分别计 算子窗口-类间相似度；
[0053] (v)计算待分类图像与每一个类的样本图像的图-类间相似度；
[0054] (vi)将待分类图像归类为图-类间相似度最大的一类。
[0055] 作为进一步优选，还包括检测结果显示单元，用于显示图像处理单元检测结果。 [0056]所述的图像处理单元为工业控制计算机，通过分类算法和软件编程实现节能灯管 表面瑕疵的分类。同时，为便于灯管质量检测过程的监控，所述图像处理单元内还可以包括 人机界面软件，用于实时显示所述的待分类节能灯管瑕疵图像以及瑕疵分类结果，记录分 类历史数据，并接收用户的操作指令对软件进行参数设定。
[0057]本发明通过高速工业摄像机，配合背光源实时采集流水线上的节能灯管图像，利 用子窗口 ST描述子等方法，实现节能灯管产品质量快速分类，具有不接触、无损伤、连续、实 时、精度高的优点;在保证测量精度的前提下大大缩减了相应的检测成本。
【附图说明】
[0058] 图1为本发明的基于结构纹理特征的灯管质量检测与瑕疵分类方法的步骤流程示 意图。
[0059] 图2为实施例中几种典型瑕疵类别示意图。
[0060] 图3为实施例中瑕疵检测图-类间相似度示意图。
【具体实施方式】
[0061] 为了更为具体地描述本发明，下面结合附图及【具体实施方式】对本发明的技术方案 进行详细说明。
[0062] 如图1所示，一种基于结构纹理特征的灯管质量检测与瑕疵分类方法，包括如下步 骤：
[0063] (1)预先收集节能灯管生产公司人工分拣出的节能灯管次品，对次品灯管按照瑕 疵种类进行人工区分，将灯管瑕疵归类为几种典型类别（如图2)，令各个类别为C」，j = 1，. . .，ΖΑ={&，(：2, . . .，CZ}其中z为总的类别数，为大于零的自然数;对各类别瑕疵采集一 定数量样本图像(图像规格大小可根据经验值确定)作为样本库；
[0064] (2)实时采集待检测的节能灯管图像；
[0065] (3)利用滑动窗口和纹理特征提取方法检测上述灯管图像是否存在瑕疵，若待检 测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域（R〇I，Reg ion of Interesting)；
[0066] (4)截取瑕疵图像的感兴趣区域部分，视为待分类图像X，将其分割为n个子窗口， 按照相同方法，将样本库中的每一个样本图像分割成η个子窗口，将每个样本图像视为η个 小窗口的集合。n=m2，m为大于1的正整数;m-般为2或3;
[0067] (5)将子窗口分为S行K列个小窗口区域，共得到S*K个子带（S，K的取值，以使得最 后得到的子带的大小约为10*10像素大小为准），令胃为第X个子窗口的第k个子带的像素 灰度值集合，k=l，. . .，S*K，x = l，2,. . .，m2;式（1)中E{}为求期望运算。为步骤(4)得到的 所有子窗口计算以下三个ST描述子；
[0068] I.子带均值系数:
[0069]
(1)
[0070] II.子带标准差系数:
[0071]
(2)
[0072] III.第k个子带和第1个子带间的互相关系数p。
[0073]
(3)
[0074] 为第X个子窗口的第k个子带的子带均值系数； <为第X个子窗口的第k个子带 的子带标准差系数;/?为第X个子窗口中第k个子带和第1个子带间的互相关系数；
[0075] (6)利用上述ST描述子为待分类图像的每一个子窗口与每一个类分别计算子窗 口-类间(BC，block-to_class)相似度。首先计算待分类图像的每一个子窗口与各类样本图 像的各子窗口间相似度：
[0076]
(4)
[0077] 其中：
[0078] lk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的均值相 似度
[0079]
⑶.
[0080] ck(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的标准差
相似度
[0081] (6)
[0082] 公式(5)和(6)中KjPK2为远小于1的常量，一般取心= 0.01，Κ2 = 0.03;
[0083] rk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的互相关 相似度
[0084]
(7)
[0085] 最后得出子窗口-类间相似度：
[0086]
(8)
[0087] y为一个类中的一个子窗口，y=l，2, . . .，n;#ky为第y个子窗口的第k个子带的子 带均值系数;为第y个子窗口的第k个子带的子带标准差系数;为第y个子窗口中第k个 子带和第1个子带间的互相关系数。上述各式中"| |"均为求幅值运算符。
[0088] (7)计算待分类图像与每一个类的图-类间（1<：，;[1]^86-1:〇-(3]^88)相似度(如图3) :
[0089]
(9)
[0090] 其中Π 为各项连乘运算；
[0091] (8)将待分类图像归类为图-类间相似度最大的一类：
[0092]
(10)
[0093] 其中arg为求下标运算；通过式（10)计算出最大Q(X，CJ时的C的下标，最终得到 图-类间相似度最大的一类的类别号，进而确认最终的分类;重复步骤(3)~(8)实现对多个 节能灯管的质量检测和瑕疵分类。
[0094] 图2和图3为应用上述方法的一个具体实施例：
[0095]图2为几种典型类别的样本图像，第i类-划伤，第ii类-刮擦，第iii类-气线，第iv 类-小洞，第v类-不均，第vi类-脱粉；
[0096] 图3中间图为待分类图像，经过最终计算得到待分类图像与每一个类的图-类间 (IC，image-t 〇-ClaSS)相似度为：与第i类的图-类间相似度为0.7268,与第ii类的图-类间 相似度为〇 . 8048，与第i ii类的图-类间相似度为0.6025，与第iv类的图-类间相似度为 0.7395，与第v类的图-类间相似度为0.7231，与第vi类的图-类间相似度为0.7863。经过评 价，将中间图的待分类图像归位第ii类，划伤。通过进一步人眼观察可知，本实施方式的检 测方法得出的灯管表面瑕疵分类结果具有较高的效率和可靠性，值得信赖。
[0097] 当然一个灯管上也有可能存在多个不同类别或者相同类别带瑕疵图像的待分类 图像，对于存在多个瑕疵的灯管，对每个下次可单独分类，判定方法等与上述原理相同。 [0098]本灯管瑕疵分类系统包括图像采集单元、图像处理单元和分类结果显示单元。 [0099]图像采集单元，用于实时采集待测节能灯管图像;可采用工业摄像机、镜头和照 明光源实现。工业摄像机使用大恒DH-GV400UM黑白1/3英寸CMOS摄像机，全帧曝光扫描方 式，分辨率为752 X 480，帧率可达60帧/秒，输出接口为USB，镜头卡口为C/CS 口，体积小巧， 易于安装，能满足实时检测要求;镜头选用日本Computar的8mm无畸变镜头。光源选用炜朗 160 X 160mm面形蓝色LED光源，光源控制器选用炜朗VL-LC-11-4CH型号USB光源控制器。 [0100]图像处理单元，用于对所述的节能灯管图像进行处理，并计算出灯管瑕疵分类结 果；图像处理单元硬件可采用工业控制计算机，核心部分为编写的计算机软件。具体工作方 式为：
[0101] (i)在图像采集单元采集的节能灯管图像中，利用滑动窗口和纹理特征提取方法 获取灯管瑕疵部位；
[0102] (ii)将待分类瑕疵图像和预收集的各类瑕疵样本图像分割成η个子窗口，并为所 有子窗口计算ST描述子；
[0103] (iii)利用计算出的ST描述子为待检测图像的每一个子窗口与所有类分别计算子 窗口-类间相似度，进而计算图-类间相似度，最终将待分类图像归类为图-类间相似度最大 的一类。
[0104] 所述的图像处理单元通过软件编程以及上述分类算法实现节能灯管表面瑕疵的 分类。同时，为便于灯管质量检测过程的监控，所述图像处理单元内还可以包括人机界面软 件，用于实时显示所述的待分类节能灯管瑕疵图像以及瑕疵分类结果，记录分类历史数据， 并接收用户的操作指令对软件进行参数设定。实际过程中通过显示屏显示。工业控制计算 机通过USB数据线连接工业摄像机和光源控制器。工业控制计算机采用研华工业控制计算 机，该机采用Intel双核处理器，主频3.0GHz，内存2G，硬盘160G，19寸液晶显示器，满足工业 现场恶劣环境的要求。
[0105] 检测结果显示单元，实际上可选择与工业控制计算机相连的显示器，配合编写的 产品瑕疵分类系统监控软件，可直观地显示图像处理单元分类结果。
【主权项】
1. 一种基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征在于，包括： (1) 对各类别瑕疵采集一个或多个样本图像，建立样本库;令各个类别为Cj，j = 1，...， z，其中Z为总的类别数，C={Cl，C2,…，Cz}; (2) 实时采集待检测的灯管图像，得到待检测图像； (3) 利用滑动窗口和纹理特征提取方法检测待检测图像是否存在瑕疵，若待检测图像 不存在瑕疵，则判断为合格灯管;若待检测图像存在瑕疵，计算出待检测图像中包含瑕疵的 感兴趣区域； (4) 截取瑕疵图像的感兴趣区域，视为待分类图像X，针对每一个待分类图像，将其分割 为η个子窗口，将样本库中的每一个样本图像分割成η个子窗口，将每个样本图像视为η个小 窗口的集合;η为大于零的自然数； (5) 为步骤(4)得到的所有子窗口计算ST描述子； (6) 利用ST描述子为待分类图像的每一个子窗口与每一个类中的子窗口分别计算子窗 口-类间相似度； (7) 计算待分类图像与每一个类的样本图像的图-类间相似度； (8) 将待分类图像归类为图-类间相似度最大的一类； 重复步骤(2)-(8)实现对多个节能灯管的质量检测和瑕疵分类。2. 根据权利要求1所述的基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征 在于，η为4~9的自然数。3. 根据权利要求1所述的基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征 在于，计算ST描述子的方法为： (5-1)将子窗口分为S行Κ列个小窗口区域，共得到S*K个子带，令为第X个子窗口的 第k个子带的像素灰度值集合，4=1，...，5体，义=1，2^''，11;5，1(为大于1的自然数； (5-2)计算每个子窗口的W下Ξ个ST描述子：上式中6{ }为求期望运算；パk^为第x个子窗口的第4个子带的子带均值系数;^<为第义个 子窗口的第k个子带的子带标准差系数;铺为第X个子窗口中第k个子带和第1个子带间的互 相关系数。4. 根据权利要求3所述的基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征 在于，计算子窗口-类间相似度的方法如下： (6-1)计算待分类图像的每一个子窗口与各类样本图像的各子窗口间相似度：lk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的均值相似度：(5) ck(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的标准差相似 度：诚 Κι和K2为远小于1的常量； rk(x，y)为待分类图像中第X个子窗口与各类样本图像中的第y个子窗口的互相关相似 度；//之为各类样本图像第y个子窗口的第k个子带的子带均值系数;诚为各类样本图像第y 个子窗口的第k个子带的子带标准差系数;咸为各类样本图像第y个子窗口中第k个子带和 第1个子带间的互相关系数。5. 根据权利要求4所述的基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征 在于，Κι = 0.01 ~0.02，拉=0.03 ~0.05。6. 根据权利要求4所述的基于结构纹理特征的灯管质量检测与瑕疵分类方法，其特征 在于，计算待分类图像与每一个类的样本图像的图-类间相似度的方法如下：(9) Q(X，Cj)为待分类图像与每一个类的样本图像的图-类间相似度;Π 为各项连乘运算。7. -种基于结构纹理特征的灯管质量检测与瑕疵分类系统，其特征在于，包括： 图像采集单元，用于实时采集待测灯管图像，得到待检测图像； 图像处理单元，用于对所述待检测图像进行处理，并计算出灯管瑕疵分类结果，具体 为： (i) 利用滑动窗口和纹理特征提取方法检测待检测图像是否存在瑕疵，若待检测图像 不存在瑕疵，则判断为合格灯管;若待检测图像存在瑕疵，计算出待检测图像中包含瑕疵的 感兴趣区域； (ii) 截取瑕疵图像的感兴趣区域，视为待分类图像，针对每一个待分类图像，将其分割 为η个子窗口，将样本库中的每一个样本图像分割成η个子窗口，将每个样本图像视为η个小 窗口的集合;η为大于零的自然数； (i i i)为步骤(i i)得到的所有子窗口计算ST描述子； (iv)利用ST描述子为待分类图像的每一个子窗口与每一个类中的子窗口分别计算子 窗口-类间相似度； (V)计算待分类图像与每一个类的样本图像的图-类间相似度； (Vi)将待分类图像归类为图-类间相似度最大的一类。8.根据权利要求7所述的基于结构纹理特征的灯管质量检测与瑕疵分类系统，其特征 在于，还包括检测结果显示单元。
【文档编号】G01N21/95GK105973910SQ201610286863
【公开日】2016年9月28日
【申请日】2016年4月29日
【发明人】侯北平, 朱文, 于爱华, 鲍远乐, 周乐, 介婧
【申请人】浙江科技学院