一种矿井图像中基于条件随机场的矿工检测系统的利记博彩app
【专利摘要】本实用新型公开了一种矿井图像中基于条件随机场的矿工检测系统，包括处理单元、摄像仪、存储单元、通信线路、井上服务器以及井上数据库。处理单元用于完成检测任务，摄像仪用于采集矿井图像，存储单元用于存储样本图像子窗口的特征向量和利用样本图像所建立的条件随机场模型，通信线路将检测结果传至井上服务器，井上服务器依据检测结果做出相应的显示；井上数据库用于记录矿工的位置及对应位置所处的时间等信息。本实用新型选择提取HOG特征，能够有效克服井下光照条件差的影响，以条件随机场为框架进行感兴趣区域标识可靠性强，识别率高，适应性强，为煤矿井下图像中的矿工检测提供了有效的检测系统。
【专利说明】一种矿井图像中基于条件随机场的矿工检测系统
【技术领域】
[0001]本实用新型涉及一种基于条件随机场的行人检测系统，尤其是涉及一种矿井图像中的矿工检测系统。
【背景技术】
[0002]图像行人检测研究在近些年取得了一系列的研究成果，主要有三类研究方法，其一是基于形状信息的行人检测，该类方法主要是依靠行人的形状特征来识别行人，其中以轮廓特征最为典型。Gavrila利用模板匹配的思想，将行人的边缘模板与待检测图片进行匹配。其二是基于特征的行人检测研究方法，1997年，Oren使用了一组过完备的Haar小波特征，结合自己提出的bootstrap方法，首次将机器学习的方法引入行人检测领域，并获得了成功，在误报率为1/15000的情况下，取得了 81.6%的检测率。2001年，Paul V1la等人提出了一种通用的目标检测框架。他们利用自己提出来的级联AdaBoost方式来训练rectangular特征,大大提高了检测速度。2005年，Dalal和Triggs引进了一种强大的特征描述子H0G，作者在自己创造的复杂的INRIAL行人库上，取得了优秀的检测结果。其三，将形状信息和有效特征高效结合起来的方法被不断提出来。Sabzmeydani于2007年提出了 shapelet算法。该算法是利用机器学习的方法来自动学习人体的线条，从而自动生成特征。Zhe Lin等人于2007年提出了一种具有行人姿势不变性的特征。他们的主要方法就将待检图片与训练得到的行人模板库进行匹配，通过最大相似度估计得到图片中的感兴趣区域，并将该区域映射到一个权威的行人模板，提取一个固定的特征。
[0003]条件随机场(Condit1nal Random Field, CRF)是在马尔可夫随机场(MarkovRandom Field,MRF)的基础上发展起来的，它不仅可以利用相邻节点的联系，还能够利用整个观测场的信息对局部判断加以指导，从而更加合理地提取目标。
[0004]煤炭是我国主要的能源之一，是我国经济发展的重要保障，我国约70%的能源消耗来自煤炭。煤矿井下环境恶劣，光照条件差，针对煤矿井下图像中的矿工检测会受到不同程度的影响，在减少误检、检测定位准确率以及检测效率等方面仍然需要进一步的提高。
【发明内容】
[0005]本实用新型所要解决的技术问题是提供一种基于条件随机场的新型矿工检测系统。
[0006]为了克服现有诸多系统在煤矿井下图像矿工检测中存在的问题，本实用新型公开了一种适合井下特殊环境的基于条件随机场的矿工检测系统，该系统能够在矿井下低照度的图像中得到较高识别率，迅速有效的进行矿工检测。
[0007]本实用新型所述的基于条件随机场的矿井图像矿工检测系统由处理单元，摄像仪，存储单元，通信线路，井上服务器以及井上数据库组成。
[0008]所述处理单元包括控制模块，矿工检测与处理模块，特征向量存储模块，CRF模型存储模块和通信模块；其中控制模块又包括图像采样控制模块；处理单元是整个矿工检测系统的核心部分，其主要有三个方面的功能:(I)对系统外围设备:摄像仪的控制；(2)对采集矿井图像的处理和检测；(3)向井上服务器传输检测结果；
[0009]所述图像采样控制模块用于控制摄像仪采集矿井井下图像；所述矿工检测与处理模块用于获取矿井图像中矿工位置；所述特征向量存储模块用于将矿工检测模型建立阶段得到的HOG(梯度方向直方图)特征向量存储到所述存储单元；所述CRF模型存储模块用于将所建立起来的条件随机场模型存储到所述存储单元；所述通信模块用于将所述矿工检测与处理模块处理得到的结果传输至所述井上服务器。
[0010]所述摄像仪用于在所述处理单元的控制下采集矿井井下图像；所述存储单元，用于存储矿工检测模型建立阶段得到的HOG(梯度方向直方图)特征向量以及所建立起来的相应的条件随机场模型；所述通信线路，在处理单元通信模块的控制下，利用异步串行I/O方式进行数据的传输，将传输数据的每个字符一位接一位传送，数据各个不同位可以分时使用同一传输通道进行传输，线路利用率高，最少仅需用一对线路即可进行通信，通信线路将处理单元对输入待检测矿井井下图像的检测结果信息传递至井上服务器；所述井上服务器包括井上服务器端通信模块和显示模块；井上服务器端通信模块负责与井下处理单元的通信模块通信，接收对待识别矿工的检测结果；依据井下矿工检测的结果，利用显示模块对图像中矿工的位置进行标注显示；井上服务器负责依据井下处理单元通过通信线路传递来的检测结果，做出相应的显示；所述井上数据库，用于在所述井上服务器的控制下，依据矿工检测结果自动记录矿工的位置信息、时间信息。
[0011]所述基于条件随机场的矿井图像矿工检测系统工作流程如下:
[0012]矿工检测模型建立阶段，系统首先提取若干矿井图像，并提取相应的HOG特征向量，并将这些HOG特征向量通过特征向量存储模块存入到存储单元。矿工检测与处理模块控制进行PCA降维、BFGS等处理，得出相应的条件随机场模型，并将所建立的条件随机场模型通过CRF模型存储模块存入到存储单元。
[0013]矿工检测识别阶段，系统正常启动后运行流程如下:
[0014](I)由控制模块初始化摄像仪；
[0015](2)图像采样控制模块控制摄像仪采集矿井图像，并将图像传递到矿工检测与处理模块；
[0016](3) CRF模型存储模块读取矿工检测阶段所建立起的条件随机场模型；
[0017](4)矿工检测与处理模块接收矿井图像，并对矿井图像进行处理得到待检测图像中各子窗口的HOG特征向量，根据所建立的条件随机场模型与提取的各子窗口的HOG特征向量得到检测结果；
[0018](5)通信模块将矿工检测与处理模块的检测结果传输至井上服务器，井上服务器依据检测结果做出相应处理，通过显示模块进行显示，并将矿工的位置信息、当前时间信息记录至井上数据库。
[0019]本实用新型的有益效果是，选择提取HOG特征，能够有效克服井下光照条件差的影响。检测系统以条件随机场为框架进行感兴趣区域标识可靠性强，识别率高，适应性强，为煤矿井下图像的矿工检测提供了有效的检测系统。
【专利附图】
【附图说明】
[0020]下面结合附图和【具体实施方式】对本发明作进一步的详细描述。
[0021]图1是基于条件随机场的矿井图像矿工检测系统结构图；
[0022]图2是系统处理单元各模块工作流程图；
[0023]图3是基于条件随机场的矿井图像矿工检测流程图；
[0024]图中，1、处理单元；2、摄像仪；3、存储单元；4、通信线路；5、井上服务器；6、井上数据库；
【具体实施方式】
[0025]首先对基于条件随机场的矿井图像矿工检测系统的结构进行描述。参照图1，所述矿井图像矿工检测系统由处理单元I，摄像仪2，存储单元3，通信线路4，井上服务器5以及数据库6组成。
[0026]所述处理单元I包括控制模块，矿工检测与处理模块，特征向量存储模块，CRF模型存储模块和通信模块；其中控制模块又包括图像采样控制模块；处理单元是整个矿工检测系统的核心部分，其主要有三个方面的功能:(I)对系统外围设备:摄像仪的控制；(2)对采集矿井图像的处理和检测；(3)向井上服务器传输检测结果；
[0027]所述图像采样控制模块用于控制摄像仪采集矿井井下图像；所述矿工检测与处理模块用于对摄像仪采集得到的矿井图像利用基于条件随机场的矿井图像矿工检测方法进行处理和检测；所述特征向量存储模块用于将矿工检测模型建立阶段得到的H0G(梯度方向直方图)特征向量存储到所述存储单元；所述CRF模型存储模块用于将所建立起来的条件随机场模型存储到所述存储单元；所述通信模块用于将所述矿工检测与处理模块处理得到的结果传输至所述井上服务器。
[0028]所述摄像仪2用于在所述处理单元的控制下采集矿井井下图像；所述存储单元3，用于存储矿工检测模型建立阶段得到的HOG(梯度方向直方图)特征向量以及所建立起来的相应的条件随机场模型；所述通信线路4，在处理单元通信模块的控制下，利用异步串行I/O方式进行数据的传输，将传输数据的每个字符一位接一位传送，数据各个不同位可以分时使用同一传输通道进行传输，线路利用率高，最少仅需用一对线路即可进行通信，通信线路将处理单元对输入待检测矿井井下图像的检测结果信息传递至井上服务器；所述井上服务器5包括井上服务器端通信模块和显示模块；井上服务器端通信模块负责与井下处理单元的通信模块通信，接收对待识别矿工的检测结果；依据井下矿工检测的结果，利用显示模块对图像中矿工的位置进行标注显示；井上服务器负责依据井下处理单元通过通信线路传递来的检测结果，做出相应的显示；所述井上数据库6，用于在所述井上服务器的控制下，依据矿工检测结果自动记录矿工的位置信息、时间信息。
[0029]图2是基于条件随机场的矿井图像矿工检测系统的工作流程:
[0030]矿工检测模型建立阶段，系统首先提取若干矿井图像，并提取相应的HOG特征向量，并将这些HOG特征向量通过特征向量存储模块存入到存储单元。矿工检测与处理模块控制进行PCA降维、BFGS等处理，得出相应的条件随机场模型，并将所建立的条件随机场模型通过CRF模型存储模块存入到存储单元。
[0031]矿工检测识别阶段，系统正常启动后运行流程如下:
[0032](I)由控制模块初始化摄像仪；
[0033](2)图像采样控制模块控制摄像仪采集矿井图像，并将图像传递到矿工检测与处理模块；
[0034](3) CRF模型存储模块读取矿工检测阶段所建立起的条件随机场模型；
[0035](4)矿工检测与处理模块接收矿井图像，并对矿井图像进行处理得到待检测图像中各子窗口的HOG特征向量，根据所建立的条件随机场模型与提取的各子窗口的HOG特征向量得到检测结果；
[0036](5)通信模块将矿工检测与处理模块的检测结果传输至井上服务器，井上服务器依据检测结果做出相应处理，通过显示模块进行显示，并将矿工的位置信息、当前时间信息记录至井上数据库；
[0037]参照图3，对基于条件随机场的矿井图像矿工检测方法的基本流程进行描述，具体步骤如下，矿工检测模型建立阶段:
[0038](I)米集500幅的矿井图像,每幅图像中仅含有一个矿工，且矿工所在图像中所占的区域大小基本维持不变，尺寸大小维持在68*128以内，同一个矿工在该组采集的图像中出现次数不得超过3次。所有采集的图像将调整尺寸为220*220，格式为PNG。图像分别标记为 f\，f2, , f500 ；
[0039](2)对每幅图像进行子窗口的划分，划分成相互有重叠部分且大小为68*128的子窗口，在横轴方向上任意相邻窗口之间的像素距离与在竖轴方向上任意相邻窗口之间的像素距离是相同的，像素距离为5。横轴方向划分成18行子窗口，竖轴方向划分成30列子窗口，共划分540个子窗口 ；所有图像窗口的处理方式需完全一致；
[0040](3)人为选出每幅图片能恰好包含矿工的子窗口，并以此作为每个图像中的最佳区域，分别标记为gl，g2，...，gm，并将最佳子窗口作为接下来的评判基准；
[0041](4)计算一幅图片中所有的子窗口与上述步骤选择的相应最佳子窗口的图像重合度，将重合度达到70%以上的子窗口标记为+1，否则，将子窗口标记为-1。每幅图片的标记值+1或-1以在图像中的相应位置进行矩阵存放，最终500幅图片的储存数据存放在18*30*500的三维矩阵中；
[0042](5)对所有图像中所有的子窗口进行HOG(方向梯度直方图)特征提取，每个子窗口提取出来的特征维数为3781 ；
[0043](6)将gl，g2，...，gm提取出来的HOG特征组成一个样本，进行PCA降维，并求得投影矩阵，矩阵大小为3781*500 ；
[0044](7)对所有图像中所有子窗口进行HOG-PCA特征提取，即从子窗口中提取出来的HOG向量进行投影变换。变换后的矩阵进行封装。封装格式为1^?((1，1'，(3，8)，(1是一个子窗口中PCA降维后的特征量，r、c分别代表子窗口在横竖轴上的位置，s代表采集图像的总数目；
[0045](8)对封装好的特征向量进行处理，
[0046]nodeFeatures (:，i，s) = [I, raw(:，r，c，s) ] edgeFeatures (:，e，s) = [1，raw(: , r,c)-raw(: , r'，c' ) | ]
[0047]nodeFeatures代表每个子窗口中所包含的降维后的HOG特征，按照上述形式存放，用以估算Ai(Yyx)的值(即基于标记索引为i的子窗口内的观察特征，被标记为71的可能性)；edgeFeatures是为了估算IijGi, Yj, x)的值(即j框中被标记为Ii对i框被标记为Ii所产生的影响)而构成的一组HOG特征上的处理，目标是对相邻子框中的HOG特征值进行形式上的处理，以达到计算条件随机场中提及的相互影响的目的；e表征的是(r，c)-(r/ ’c')之间的联系；
[0048](9)利用公式
I
[0049]Piyi \ yNr θ)=—exPiA^x)+Yd
'z1.风
Γηη.ηΠ S = Σ ^(4(^^)+Σ 1^ypx))
Ι_υ_」^€{-ι,?}J^Ni
[0051]求解出Zi，代入建立起来的目标函数:
ΛI
[0052]θ = ars 〒 Σ Σ(χ))+細 Σ O)) - lo^i 3 - —τ ντν
?J^N12Φ
[0053](10)用拟牛顿法BFGS解决参数最优化问题，并获得模型参数Θ = {w，v}，至此已经完整的建立起该模型来；
[0054]矿工检测识别阶段:
[0055](I)获取待检测图像，对图像尺寸没有要求；
[0056](2)对图像进行子窗口划分，子窗口划分规则与模型建立阶段的窗口一致，大小全为 68*128 ；
[0057](3)提取每个子窗口的HOG特征，I个子窗口的矩阵X (1*3781)；
[0058](4)用模型建立阶段获得的投影矩阵B (3781*500)对每个子窗口取得的HOG特征进行降维，X' =XDB5
[0059](5)将X'代入建立起来的条件随机场模型中，按照nodeFeatures (:, i, s) = [I,raw(:，r，c，s) ] edgeFeatures (:，e，s) = [I, | raw(:，r，c) -raw( , r' , c' ) | ]格式进行存放；利用LBP进行推断求解，对所有子窗口进行标注，并求得每一个子窗口被标记为+1或者-1的概率；
[0060](6)在所有被标记为I的子窗口中找出拥有最大概率的子窗口，即是所要的最佳子窗口，即选出了矿工所在的最佳区域。
【权利要求】
1.一种矿井图像中基于条件随机场的矿工检测系统，其特征在于，所述系统包括处理单元、摄像仪、存储单元、通信线路、井上服务器以及井上数据库；所述摄像仪，用于在所述处理单元的控制下采集矿井井下图像；所述存储单元，用于存储检测模型建立阶段得到的HOG(梯度方向直方图)特征向量以及所建立起来的相应的条件随机场模型；所述通信线路，用于将处理单元对输入待检测矿井图像的检测结果信息传递至所述井上服务器；所述井上服务器，负责依据井下处理单元通过通信线路传递来的检测结果，做出相应的显示；所述井上数据库，用于在所述井上服务器的控制下，依据矿工检测结果自动记录矿工的位置信息、时间信息。
2.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测系统，其特征在于，所述井上服务器包括井上服务器端通信模块和显示模块；井上服务器端通信模块负责与井下处理单元的通信模块通信，接收对待识别矿工的检测结果；依据井下矿工检测的结果，利用显示模块对图像中矿工的位置进行标注显示；井上服务器负责依据井下处理单元通过通信线路传递来的检测结果，做出相应的显示。
3.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测系统，其特征在于，所述处理单元包括控制模块，矿工检测与处理模块，特征向量存储模块，CRF模型存储模块和通信模块；所述矿工检测与处理模块用于获取矿井图像中矿工位置；所述特征向量存储模块用于将矿工检测模型建立阶段得到的HOG(梯度方向直方图)特征向量存储到所述存储单元；所述CRF存储模块用于将所建立起来的条件随机场模型存储到所述存储单元；所述通信模块用于将所述矿工检测与处理模块处理得到结果传输至所述井上服务器。
4.根据权利要求3所述的一种矿井图像中基于条件随机场的矿工检测系统，其特征在于，所述控制模块包括所述图像采样控制模块；所述图像采样控制模块用于控制摄像仪采集矿井井下图像。
【文档编号】G06K9/00GK204009939SQ201420292230
【公开日】2014年12月10日 申请日期:2014年6月4日 优先权日:2014年6月4日
【发明者】孙继平, 刘军 申请人:中国矿业大学(北京)