实时场景下快速获取有效图像的系统和方法
【专利摘要】本发明公开了一种实时场景下快速获取有效图像的系统和方法，在该场景下的图像采集过程中，图像质量评价模块运用图像质量评价数学模型对采集到的图像进行快速评价，图像分类模块运用所述图像分类数学模型对输入的图像质量评价结果进行判定，若判定为有效图像，则停止采集，得出成功获取有效图像的结果，并将图像输入后续处理系统；若判定为无效图像，则继续采集，并重新评估，直到获得有效图像为止。本发明能够在尽量保持图像采集实时性的前提下，确保最终输入后续处理环节的图像都是有效图像。
【专利说明】实时场景下快速获取有效图像的系统和方法 (-)技术领域
[0001] 本发明设及计算机技术领域，特别设及一种数字图像采集系统和方法。 (二)【背景技术】
[0002] 采集数字图像进行处理的场景，例如，使用实时解码设备对条形码解码、流水线上 的产品缺陷检测、闯红灯拍照W及测速拍照等，通常是先使用图像采集设备采集图像，后对 采集的图像进行处理，若处理成功，则停止;若处理失败，则重新采集图像，重新处理，如此 循环直到处理成功时才停止。而实时场景下，图像采集设备与目标之间存在相对运动，当相 对运动较快或图像采集频率较低，当对采集的图像处理失败而需要重新进行图像采集时， 目标可能已经离开了视窗，而导致再也无法对其重新采集。由此可见，在实时场景下，对于 采集到的无效图像的后续处理，实际上耗费了大量的实时处理时间。 (二)
【发明内容】
[0003] 为了克服上述不足，本发明在实时场景下，评估并判定一幅无效图像所耗费的 时间远小于后续处理该图像所耗费的时间"为依据，提供了一种实时场景下快速获取有效 图像的系统和方法。
[0004] 本发明采用的技术方案如下：
[0005] 本发明提供一种实时场景下快速获取有效图像的系统，所述系统包括图像采集模 块、图像质量评价模块、图像分类模块;所述图像采集模块与图像质量评价模块相连，所述 图像质量评价模块与图像分类模块相连;所述图像分类模块还与后续图像处理系统相连；
[0006] 优选的，所述图像采集模块负责采集目标图像，所述图像采集模块包括光学摄像 头、红外摄像头、扫描仪、雷达等图像采集设备；
[0007] 优选的，所述图像采集模块通过采集大量图像样本训练得到图像质量评价数学模 型和图像分类数学模型；
[000引优选的，所述图像质量评价模炔基于所述图像质量评价数学模型建立，所述图像 质量评价模块负责对实时采集的目标图像的质量进行评价，所述图像质量评价模块包括对 图像质量进行评价的计算机软件和硬件；
[0009] 优选的，所述图像分类模炔基于所述图像分类数学模型建立，所述图像分类模块 根据图像质量评价模块的结果对目标图像的有效性进行判定，所述图像分类模块包括对目 标图像有效性进行判定的计算机软件和硬件；
[0010] 优选的，所述图像分类模块与后续图像处理系统的连接方式包括有线连接、无线 连接W及通过存储介质传输等；
[0011] 本发明还提供一种实时场景下快速获取有效图像的方法，所述方法包括W下步 骤：
[0012] 步骤一，在某一特定的场景下，所述图像采集模块通过采集大量图像样本训练得 到图像质量评价数学模型和图像分类数学模型;基于所述图像质量评价数学模型建立所述 图像质量评价模块;基于所述图像分类数学模型建立所述图像分类模块；
[0013] 步骤二，在该场景下的图像采集过程中，所述图像质量评价模块运用所述图像质 量评价数学模型对采集到的图像进行快速评价，然后将图像质量评价结果和图像输入图像 分类模块；
[0014] 步骤Ξ，所述图像分类模块运用所述图像分类数学模型对输入的图像质量评价结 果进行判定，若判定为有效图像，则停止采集，得出成功获取有效图像的结果，并将图像输 入后续处理系统;若判定为无效图像，得出未能成功获取有效图像的结果，继续采集，并重 新执行步骤二。
[0015] 优选的，所述的步骤一的具体步骤为：
[0016] S1，在某一特定的场景下，采集大量的图像样本；
[0017] S2,将S1中采集的图像样本分为有效图像和无效图像两类并标定，有效图像为后 续处理结果为成功的图像，无效图像为后续处理结果为失败的图像，
[0018] S3,计算并分析所有已标定图像的图像质量指标；
[0019] S4,训练出适用于该场景下的图像质量评价数学模型，所述数学模型用于快速评 估当前场景下所采集的实时图像的图像质量，基于所述图像质量评价数学模型，建立所述 图像质量评价模块；
[0020] S5,结合S3和S4中的结果，训练出适用于该场景下的图像分类数学模型，所述数学 模型用于快速判定当前场景下所采集的实时图像的有效性，基于所述图像分类数学模型， 建立所述图像分类模块；
[0021] 与现有技术相比，本发明的有益效果是:本发明提供的实时场景下快速获取有效 图像的系统和方法，使用预置的图像质量评价数学模型和图像分类数学模型，对采集的图 像进行快速评估和分类筛选，在尽可能的保证图像采集实时性的前提下，确保最终输入后 续处理系统的图像都是有效图像。 (Ξ)【附图说明】
[0022] 图1为实时场景下快速获取有效图像的系统
[0023] 图2为条码实时解码场景下本发明采集有效条码图像的流程图；
[0024] 图3为流水线上同一条码图片在不同位置时所拍摄的图像；
[002引（四）具体实施方法
[0026] 为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明 白了解，下面结合附图和具体实施例，进一步阐述本发明【具体实施方式】。
[0027] 如图1所示的系统，提供一种实时场景下快速获取有效图像的系统，所述系统包括 图像采集模块、图像质量评价模块、图像分类模块;所述图像采集模块与图像质量评价模块 相连，所述图像质量评价模块与图像分类模块相连;所述图像分类模块还与后续图像处理 系统相连。
[0028] 图2表示条码实时解码场景下本发明采集有效条码图像的流程图，条码图像实时 解码场景下本发明快速获取有效条码图像的具体过程如下：
[0029] 步骤一、使用图像采集模块训练条码实时解码场景下条码图像的图像质量评价数 学模型和图像分类数学模型；
[0030] 步骤二、基于所述图像质量评价数学模型建立图像质量评价模块，基于所述图像 分类数学模型建立图像分类模块.
[0031] 步骤Ξ、所述图像质量评价模块使用所述图像质量评价数学模型计算实时采集到 的条码图像的图像质量，将计算结果带入所述分类图像分类模块中；
[0032] 步骤四、所述图像分类模块运用所述图像分类数学模型对输入的图像质量评价结 果进行判定，若判定为有效图像，则停止采集，得出成功获取有效图像的结果，并将图像输 入后续处理系统;若判定为无效图像，得出未能成功获取有效图像的结果，继续采集，并重 新执行步骤Ξ。
[0033] 对于步骤一，其详细步骤可W分解如下：
[0034] S1、使用图像采集模块采集大量的条码图像样本作为训练样本；
[0035] S2、对所有的训练样本进行解码并标定，可解码的条码图像标定为有效条码图像， 不可解码的条码图像标定为无效条码图像；
[0036] S3、计算所有标定样本的图像质量指标，基于所述图像质量指标建立图像质量评 价数学模型，本次实施例选择的图像质量评价指标为图像清晰度；
[0037] S4、从图像质量评价值的角度明确有效条码图像和无效条码图像类别的可分性， 使用有效条码图像样本中的图像清晰度评价函数值的最小值T为图像有效性分类阔值，基 于所述分类阔值构建当前场景下的图像分类数学模型。
[0038] 对于S3所述的图像质量评价数学模型，所述图像质量评价数学模型对图像清晰度 的具体计算步骤如下：
[0039] 1、计算各个子区域中屯、点坐标
[0040] 本实例将条码图像等分割为12(3行4列)个子区域，则有每个子区域的中屯、点坐标 如式(1)所示：
[0041]
。）
[0042] 其中，W，H分别代表图像的宽和高，i为子区域所在列数，j为子区域所在行数。
[0043] 2、计算各个窗口的清晰度
[0044] 本实施例选择在每个子区域的中屯、位置开16*16像素的窗口，使用能量梯度函数 计算每个窗口的图像清晰度评价函数值，如公式(2)所示：
[0045]
巧)
[0046] 其中，I(x，y)代表坐标点(x，y)处的像素灰度值。
[0047] 3、计算图像的清晰度
[0048] 图像清晰度评价函数值的计算如式(3)所示：
[0049]
(3)
[0050] 其中，ay为根据先验知识确定的对应子区域窗口权值。
[0051] 对于S4所述的图像分类数学模型，所述图像分类数学模型对图像有效性的判定的 具体步骤如下，使用S4所述的图像有效性分类阔值T与S3所述的图像清晰度S(I)进行比较； 若τ较大，则得出当前图像无效的结论;若τ较小，则得出当前图像有效的结论；
[0052]为了更进一步的验证本发明提出方法在获取有效图像上的有效性和实时性，结合 具体的实验做进一步的展示。本实例采用2.6G主频的Intel i5处理器，图像采集设备的拍 照速率为lOOfps，附图3(a)-(c)依次表示流水线上同一条码图片运动的先后位置时所拍摄 的图像，且图像的清晰度依次提高，图3(a)和图3(b)为无效条码图像，图3(c)为有效条码图 像。传统的图像采集方法使得对图3中的条码图像进行了 3次解码的运算，并对图3(c)解码 成功；而本发明中的图像采集方法对图3中的条码图像进行了3次清晰度评估，且仅对图3 (C)解码并成功。表1表示了用两种方法对图3中条码图像解码所耗费的时间，传统图像采集 方法使得解码成功共耗时1470.022ms;而本发明使得最终解码成功共耗时515.921ms，远小 于传统采集方法。其原因如表1所示:评估判定一幅无效的条码图像所耗费的时间远小于解 码该图像的时间。另外，本实施例中单幅图像的平均采集时间为10ms，清晰度评估平均耗时 约为0.5ms，若对每次采集到的图像都进行清晰度评估，则单幅图像平均采集和清晰度评估 时间共计10.5ms。综上所述，本发明对低速摄像头采集图像的实时性几乎没有影响，而随着 摄像头采集图像速率的提高，对高速摄像头采集图像的实时性的影响会逐步提高，但从解 码效率的角度考虑，其解码的实时性却能较大提升。 Γ00531
[0054] 表 1
[0055] W上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，运些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。
【主权项】
1. 一种实时场景下快速获取有效图像的系统，其特征在于，包括图像采集模块、图像质 量评价模块、图像分类模块;所述图像采集模块与图像质量评价模块相连，所述图像质量评 价模块与图像分类模块相连;所述图像分类模块还与后续图像处理系统相连。2. 根据权利要求1所述的实时场景下快速获取有效图像的系统，其特征在于，所述图像 采集模块负责采集目标图像，所述图像采集模块是:光学摄像头、红外摄像头、扫描仪或雷 达。3. 根据权利要求1所述的实时场景下快速获取有效图像的系统，其特征在于，所述图像 采集模块通过采集大量图像样本训练得到图像质量评价数学模型和图像分类数学模型。4. 根据权利要求1所述的实时场景下快速获取有效图像的系统，其特征在于，所述图像 质量评价模炔基于所述图像质量评价数学模型建立，所述图像质量评价模块负责对实时采 集的目标图像的质量进行评价，所述图像质量评价模块包括对图像质量进行评价的计算机 软件和硬件。5. 根据权利要求1所述的实时场景下快速获取有效图像的系统，其特征在于，所述图像 分类模炔基于所述图像分类数学模型建立;所述图像分类模块根据图像质量评价模块的结 果对目标图像的有效性进行判定，所述图像分类模块包括对目标图像有效性进行判定的计 算机软件和硬件。6. 根据权利要求1所述的实时场景下快速获取有效图像的系统，其特征在于，所述图像 分类模块与后续图像处理系统的连接方式包括有线连接、无线连接或通过存储介质传输。7. -种实时场景下快速获取有效图像的方法，其特征在于，包括以下步骤： 步骤一，在某一特定的场景下，所述图像采集模块通过采集大量图像样本训练得到图 像质量评价数学模型和图像分类数学模型;基于所述图像质量评价数学模型建立所述图像 质量评价模块;基于所述图像分类数学模型建立所述图像分类模块； 步骤二，在该场景下的图像采集过程中，所述图像质量评价模块运用所述图像质量评 价数学模型对采集到的图像进行快速评评价，然后将图像质量评价结果和图像输入图像分 类模块； 步骤三，所述图像分类模块运用所述图像分类数学模型对输入的图像质量评价结果进 行判定，若判定为有效图像，则停止采集，得出成功获取有效图像的结果，并将图像输入后 续处理系统;若判定为无效图像，得出未能成功获取有效图像的结果，继续采集，并重新执 行步骤二。8. 根据权利要求7所述的实时场景下快速获取有效图像的方法，其特征在于，所述的步 骤一的具体步骤为： S1，在某一特定的场景下，采集大量的图像样本； 52, 将S1中采集的图像样本分为有效图像和无效图像两类并标定，有效图像为后续处 理结果为成功的图像，无效图像为后续处理结果为失败的图像， 53, 计算并分析所有已标定图像的图像质量指标； 54, 训练出适用于该场景下的图像质量评价数学模型，所述数学模型用于快速评估当 前场景下所采集的实时图像的图像质量，基于所述图像质量评价数学模型，建立所述图像 质量评价模块； 55, 结合S3和S4中的结果，训练出适用于该场景下的图像分类数学模型，所述数学模型 用于快速判定当前场景下所采集的实时图像的有效性，基于所述图像分类数学模型，建立 所述图像分类模块。9. 一种实时场景下快速获取有效图像的方法，其特征在于，具体步骤如下： 步骤一、使用图像采集模块训练条码实时解码场景下条码图像的图像质量评价数学模 型和图像分类数学模型； 步骤二、基于所述图像质量评价数学模型建立图像质量评价模块，基于所述图像分类 数学模型建立图像分类模块； 步骤三、所述图像质量评价模块使用所述图像质量评价数学模型计算实时采集到的条 码图像的图像质量，将计算结果带入所述分类图像分类模块中； 步骤四、所述图像分类模块运用所述图像分类数学模型对输入的图像质量评价结果进 行判定，若判定为有效图像，则停止采集，得出成功获取有效图像的结果，并将图像输入后 续处理系统;若判定为无效图像，得出未能成功获取有效图像的结果，继续采集，并重新执 行步骤二。10. 根据权利要求9所述的一种实时场景下快速获取有效图像的方法，其特征在于，所 述的步骤一具体为： 51、 使用图像采集模块采集大量的条码图像样本作为训练样本； 52、 对所有的训练样本进行解码并标定，可解码的条码图像标定为有效条码图像，不可 解码的条码图像标定为无效条码图像； 53、 计算所有标定样本的图像质量指标，基于所述图像质量指标建立图像质量评价数 学模型； 54、 从图像质量评价值的角度明确有效条码图像和无效条码图像类别的可分性，使用 有效条码图像样本中的图像清晰度评价函数值的最小值T为图像有效性分类阈值，基于所 述分类阈值构建当前场景下的图像分类数学模型。11. 根据权利要求10所述的一种实时场景下快速获取有效图像的方法，其特征在于，所 述图像质量评价数学模型所使用的图像质量评价指标为图像清晰度。12. 根据权利要求11所述的一种实时场景下快速获取有效图像的方法，其特征在于，所 述图像质量评价数学模型对图像清晰度的计算过程具体步骤为： 步骤一、条码图像等分为3行4列共12个子区域，并计算各个子区域中心点坐标； 步骤二、在子区域中心位置开窗口，计算窗口的清晰度； 步骤三、计算整张图像的清晰度。13. 根据权利要求12所述的一种实时场景下快速获取有效图像的方法，其特征在于，所 述的计算各个子区域中心点坐标的步骤为:条码图像分为3行4列共12个子区域，每个子区 域的中心点坐标如式(1)所示： |^.=(2/+1)*^/8, ?φΑ) (1) =(2y+l)^/6, je[0,3) 其中，W，H分别代表图像的宽和高，i为子区域所在列数，j为子区域所在行数。14. 根据权利要求12所述的一种实时场景下快速获取有效图像的方法，其特征在于，所 述的计算各个窗口的清晰度的步骤为:在子区域的中心位置开16*16像素的窗口，使用能量 梯度函数计算每个窗口的图像清晰度评价函数值，如式(2)所示： χ? +'8 _v3；-+8 5(0= Σ S![y(A.十^Γ) -十[，(''，十1)-(2) η[-8 ν·=.ν,'厂 8 其中，I(x，y)代表坐标点(x，y)处的像素灰度值。15. 根据权利要求12所述的一种实时场景下快速获取有效图像的方法，其特征在于:所 述的计算图像的清晰度的步骤为:图像清晰度评价函数值的计算如式(3)所示：(3) 其中，为根据先验知识确定的对应子区域窗口权值。16. 根据权利要求12所述的一种实时场景下快速获取有效图像的方法，其特征在于:将 所述的图像有效性分类阈值Τ和所述的图像清晰度S(I)进行比较，若Τ较大，则得出当前图 像无效的结论;若T较小，则得出当前图像有效的结论。
【文档编号】G06K9/20GK106067020SQ201610390684
【公开日】2016年11月2日
【申请日】2016年6月2日 公开号201610390684.X, CN 106067020 A, CN 106067020A, CN 201610390684, CN-A-106067020, CN106067020 A, CN106067020A, CN201610390684, CN201610390684.X
【发明人】潘晴, 陈健刚
【申请人】广东工业大学