基于图像的采煤机异常工作及灾害报警系统的利记博彩app

本发明涉及一种基于图像的采煤机异常工作及灾害报警系统，该系统涉及图像跟踪和通信等领域。

背景技术：

煤炭是我国重要的基础能源和原料，以煤为主的能源结构在相当长时间内不会改变，随着国民经济的发展，煤炭的需求量越来越大，伴随的煤矿安全事故也在不断增多。煤炭资源安全高效开发利用技术成为了国内外学者研究的热点领域。最有效的解决方案之一是实现煤矿生产装备机械化及自动化，从而实现井下无人或少人开采。

随着煤矿安全重要性的提高和煤炭开采技术的发展，井下采煤工作面实现少人或者无人开采是必然趋势，实现井下少人或者无人开采的必要条件是井下采煤装备机械化、自动化和对其的实时监控。采煤机是综采工作面最重要的设备之一，其正常运行是整个综采工作面完成采掘作业的基础，故对采煤机工作状态的监测是煤矿井下综采工作面的一项重要任务。

目前采煤机监控功能多由传感器实现完成。现有传感器模式绝大部分采用有线连接，在实际应用中由于空间有限、工况恶劣，在工程布置及维护中会投入较多精力，且往往会因为机械运动产生连接线路的损坏，影响传感器的精度。在机器开始工作中，会产生大量的电磁干扰，影响通信信号的传播。同时，在实际采煤情况下，伴随着大量的煤块坠落，安装在采煤机上的传感器不可避免的会受到碰撞，虽然有相应的防护措施，但长时间的碰撞仍然会影响传感器的精度。为避免碰撞、机械振动带来的影响，需要新的采煤工作面井下采煤机异常工作监测报警系统，可第一时间准确地对采煤机异常工作进行报警，为井下采煤机安全作业提供一份保障。因此本发明提出一种基于图像的采煤机异常工作及灾害报警系统，根据采煤机的不同异常工作状态，该系统可发出不同报警信号，包括：摇臂自动升降报警信号；摇臂锁不住，有下沉现象报警信号；采煤机牵引力不足报警信号；摇臂调高速度下降报警信号；摇臂不能调高报警信号；采煤机牵引力下降报警信号。根据采煤机跟踪丢失后监测画面灰度值处理结果，该系统可发出不同报警信号，包括：突发水灾报警信号；瓦斯泄露报警信号。

技术实现要素：

本发明提出一种基于图像的采煤机异常工作及灾害报警系统，所述系统主要包括：摄像机、视频服务器、采煤机控制器、分站、矿用以太网、存储服务器、采煤机监测服务器、监控终端；其中摄像机、视频服务器、分站和采煤机控制器在井下安装，存储服务器、采煤机监测服务器和监控终端安装于井上；摄像机安装于煤矿井下的采煤工作面的液压支架上，摄像机采集采煤工作面现场视频模拟图像；采煤机监测服务器将接收到的图像拼接为一幅图像，并跟踪监测采煤机左端滚筒与左摇杆连接处位置I_A，跟踪监测采煤机左摇杆与主机架连接处位置I_C，跟踪监测采煤机右端滚筒与右摇杆连接处位置I_B，跟踪监测采煤机右摇杆与主机架连接处位置I_D，建立数学模型，算出左摇杆抬起角度α_A与右摇杆抬起角度α_B，算出采煤机在水平面移动速度V，算出采煤机左摇杆角速度ω_A与右摇杆角速度ω_B，算出采煤机位置I₀，从而得出采煤机工作状态；该系统根据采煤机工作状态监测结果进行采煤机异常工作状态判断，若判断采煤机工作状态异常，则发出报警信号；该系统根据采煤机跟踪丢失后监测画面灰度值处理结果进行突发灾害判断，若判断有突发灾害，则发出报警信号；报警信号通过矿用以太网发送给监控终端；监控终端负责显示报警信息，通过访问视频服务器获得现场视频，通过访问存储服务器获得历史现场视频。具体方法包括：

1.摄像机等高均匀分布的安装在采煤工作面液压支架上；在摄像机旁安装辅助光源，光投射方向与摄像机视频采集方向一致。

2.采煤机控制器采集采煤机左右摇杆高度等设置数据；分站接收采煤机控制器上传的采煤机设置数据，通过矿用以太网传输至存储服务器、采煤机监测服务器和监控终端。

3.采煤机监测服务器位于井上，将接收到的数字视频数据和采煤机设置数据输出到核心处理器，处理器将采集的像拼接为一幅图像，并存储在存储模块中。

4.分别对摄像机监控范围内的左端滚筒与左摇杆连接处A进行设定、对摄像机监控范围内的右端滚筒与右摇杆连接处B进行设定、对摄像机监控范围内的左摇杆与主机架连接处C进行设定、对摄像机监控范围内的右摇杆与主机架连接处D进行设定；k帧时，分别在I_A、I_B、I_C、I_D周围采集两个样本集D^α＝{z|||I_N-I_z||<α}和D^δ,β＝{z|δ<||I_N-I_z||<β}，其中，α<δ<β，I_z表示样本位置，I_N表示在I_A、I_B、I_C、I_D周围采集的样本位置；令D^α为正样本(滚筒图像)，D^δ，β为负样本(背景图像)，根据下列公式计算随机测量矩阵：r_ij表示随机测量矩阵的元素、s取2或者3，均表示概率；然后对样本图像进行多尺度变换，计算类Harr特征，通过上述测量矩阵对多尺度图像特征进行降维，计算降维后的正负样本特征的期望和标准差，并用其来训练朴素贝叶斯分类器；k+1帧的时候，分别对图像设定区域A、B、C、D内上一帧跟踪到的目标位置的周围采样n个扫描窗口，通过同样的稀疏测量矩阵对采样的窗口降维，提取特征，然后用k帧训练好的朴素贝叶斯分类器进行分类，令分类分数最大的窗口记作目标窗口，并分别更新I_A、I_B、I_C、I_D。

5.设置采煤机位置I₀为原点，建立数学模型，将图像位置转换到坐标系中，I_A转换为(x_A,y_A)，I_B转换为(x_B,y_B)，I_C转换为(x_C,y_C)，I_D转换为(x_D,y_D)，设左摇杆瞬时抬起高度为α_a、右摇杆瞬时抬起高度为α_b、左摇杆瞬时升降角速度为ω_a、右摇杆瞬时升降角速度为ω_b、采煤机主机架瞬时移动速度为υ，记k帧时，I_A、I_B、I_C、I_D坐标(x_Ak,y_Ak)、(x_Bk,y_Bk)、(x_Ck,y_Ck)、(x_Dk,y_Dk)，k+T帧时，I_A、I_B、I_C、I_D坐标(x_Ak+1,y_Ak+1)、(x_Bk+1,y_Bk+1)、(x_Ck+1,y_Ck+1)、(x_Dk+1,y_Dk+1)，T帧间隔时间为t；计算每间隔时间T₀，计算该时间内α_a的均值，得出α_A，计算该时间内α_b的均值，得出α_B，计算该时间内ω_a的均值，得出ω_A，计算该时间内ω_b的均值，得出ω_B，计算该时间内υ的均值，得出V的数值；T₀、T通过测量设定或人为设定。

6.设置次数n＝m＝0，开始工作时，每间隔时间T₃，检测V、n与m的值，通过判断V、n、m、α_A、α_B、ω_A、ω_B的值，判断采煤机的工作状态，根据判断结果，该系统可发出不同类型的报警信号。

7.采煤机跟踪丢失后，对随后的图像进行灰度值提取与计算，根据计算结果，判断是否发生水灾、瓦斯泄露，根据判断结果，该系统可发出不同类型的报警信号。

8.报警信号包括：摇臂自动升降报警信号；摇臂锁不住，有下沉现象报警信号；采煤机牵引力不足报警信号；摇臂调高速度下降报警信号；摇臂不能调高报警信号；采煤机牵引力下降报警信号；突发水灾报警信号；瓦斯泄露报警信号。

附图说明

图1基于图像的采煤机异常工作及灾害报警系统示意图。

图2采煤机异常工作及灾害报警系统的工作流程示意图。

图3采煤机监测服务器监测流程示意图。

具体实施方式

如图1所示，基于采煤机监测服务器的采煤机异常工作报警系统组成主要包括：

1.摄像机(101)，采用符合煤矿隔爆要求的矿用摄像机，带有辅助光源，安装在采煤工作面的液压支架上，通过同轴电缆与视频服务器(104)连接。

2.采煤机控制器(102)，负责采集采煤机设置数据，数据通过工业以太网传输至存储服务器，采用可编程控制器(PLC)，可编程控制器具有通信接口或通信模块。在本实施方案中使用西门子SIMATIC S7-300。

3.分站(103)，也称数据采集站，负责接收采煤机控制器(102)上传的采煤机设置数据，并将数据上传至存储服务器、采煤机监测服务器和监控终端。分站与采煤机控制器(102)采用RS-485标准通过双绞线通信；分站通过双绞线或光缆与最近的井下交换机连接，采用TCP方式与井上的存储服务器通信，具有隔爆外壳，符合煤矿井下隔爆要求。

4.视频服务器(104)，也称视频编码器，接收由摄像机(101)输出的模拟视频信号，将其数字化并压缩编码，通过矿用以太网向井上存储服务器、采煤机监测服务器和监控终端传输视频数据。在本实施方案中选用海康DS-6701HW单路网络视频服务器，设置为组播方式。

5.井下交换机(105)，是矿用以太网的井下接入设备，串接形成环网，负责视频服务器和其它通过网络通信设备的接入和数据交换，设备接入端一般为RJ45接口，环网接续端为光接口，具有隔爆外壳，符合煤矿井下隔爆要求。

6.网络交换机(106)，是矿用以太网的核心管理设备，负责所有接入网络的设备的管理和数据交换。

7.存储服务器(107)，负责接收由视频服务器上传的视频数据并存储，为监控终端提供现场历史查询调取服务。

8.采煤机监测服务器(108)，接收视频服务器(104)上传的数字视频流和采煤机控制器(102)上传的采煤机设置数据，对视频图像进行处理，监测摄像机视频图像中设定区域，并参考存储服务器存储的相应采煤机设置数据，如满足报警条件则向监控终端(109)输出采煤机异常状态报警信号。

9.监控终端(109)，具有声光报警功能，接收到采煤机监测服务器(108)的报警数据则声光报警；监控终端具有实时视频监控和历史视频调取功能，生产管理人员通过监控终端查看由视频服务器(104)上传的现场视频图像，也可从存储服务器(107)调取历史视频数据。生产管理人员可通过煤矿通信系统发出报警信号，对相关人员下发应急调度指令。监控终端内置井下地理信息，并具有地图显示引擎，本实施方案使用Map Info公司的可视化地图组件Map X，当采煤机工作异常报警时可自动显示监测到报警的摄像机位置。

采煤机异常工作报警系统的工作过程如图2所示：

1.(201)摄像机采集视频图像，将采集到的现场模拟视频信号通过同轴电缆传输给视频服务器(104)。

2.(202)视频服务器(104)数字化模拟视频信号并进行压缩编码。

3.(203)分站(103)，接收采煤机控制器(102)上传的采煤机设置数据。

4.(204)将视频信号和采煤机设置数据通过网线将数据上传至存储服务器(107)、采煤机监测服务器(108)和监控终端(109)。

5.(205)存储服务器(107)接收视频信号和采煤机设置数据并进行存储。

6.(206)采煤机监测服务器(108)接受视频信号和采煤机设置数据，并通过核心处理器(201)的内置库处理分析视频数据，监测采煤工作面视频中采煤机工作状态，对分析结果进行判断。

7.(207)当监测结果满足报警条件时，则将报警数据使用TCP通信方式通过网络通信模块(204)传送给监控终端(109)。

8.(208)监控终端(108)接收到报警数据后，自动根据摄像机编号通过地图显示引擎在显示器上显示采煤机位置，并声光报警提示生产管理人员进行处理。

9.(209)生产管理人员通过监控终端(109)访问存储服务器(107)调取现场历史视频。

10.(210)生产管理人员同时观看由视频服务器(104)上传的现场视频，确认报警发生过程和现场状态情况。

11.(211)生产管理人员确认报警后，可通过煤矿通信系统发出报警信号，对相关人员下发应急调度指令。

采煤机监测服务器监测流程如图3所示：

1.(301)图像跟踪监测设备启动时调取监控区域R和所有监测运算相关的参数。

2.(302)分别对摄像机监控范围内的左端滚筒与左摇杆连接处A进行设定、对摄像机监控范围内的右端滚筒与右摇杆连接处B进行设定、对摄像机监控范围内的左摇杆与主机架连接处C进行设定、对摄像机监控范围内的右摇杆与主机架连接处D进行设定；k帧时，分别在I_A、I_B、I_C、I_D周围采集两个样本集D^α＝{z|||I_N-I_z||<α}和D^δ,β＝{z|δ<||I_N-I_z||<β}，其中，α<δ<β，I_z表示样本位置，I_N表示在I_A、I_B、I_C、I_D周围采集的样本位置；令D^α为正样本(滚筒图像)，D^δ，β为负样本(背景图像)，根据下列公式计算随机测量矩阵：r_ij表示随机测量矩阵的元素、s取2或者3，均表示概率；然后对样本图像进行多尺度变换，计算类Harr特征，通过上述测量矩阵对多尺度图像特征进行降维，计算降维后的正负样本特征的期望和标准差，并用其来训练朴素贝叶斯分类器；k+1帧的时候，分别对图像设定区域A、B、C、D内上一帧跟踪到的目标位置的周围采样n个扫描窗口，通过同样的稀疏测量矩阵对采样的窗口降维，提取特征，然后用k帧训练好的朴素贝叶斯分类器进行分类，令分类分数最大的窗口记作目标窗口，并分别更新I_A、I_B、I_C、I_D。

3.(303)判断图像是否跟踪丢失，如果丢失，则执行(325)，否则执行(304)。

4.(304)将数据存储在存储模块。

5.(305)图像跟踪监测设备建立数学模型，水平方向左负右正，垂直方向下负上正，将I₀转换为(x₀,y₀)，I_A转换为(x_A,y_A)，I_B转换为(x_B,y_B)，I_C转换为(x_C,y_C)，I_D转换为(x_D,y_D)。

6.(306)每间隔时间T₀，计算设角速度α_A1＝α_B1＝0，角速度α_A2＝α_B2＝0，每间隔时间T₁，令α_A1＝α_A2，α_A2＝α_A，α_B1＝α_B2，α_B2＝α_B，计算ω_A＝α_A2-α_A1与ω_B＝α_B2-α_B1的值，若Q₁<ω_A<Q₂，则令ω_A＝0，若Q₁<ω_B<Q₂，则ω_B＝0，其中Q₁<0<Q₂，ω>0表示滚筒在上升，ω＝0表示滚筒高度不变，ω<0表示滚筒在下降；设位置I₀₁、I₀₂且I₀₁＝I₀₂＝0，每间隔时间T₂，令I₀₁＝I₀₂，I₀₂＝I₀，计算的值。若Q₃<V<Q₄，则令V＝0，其中Q₃<0<Q₄，V>0，表示采煤机向右移动，V<0，表示采煤机向左移动，V＝0，表示采煤机在调整滚筒高度；将α_A1、α_A2、α_B1、α_B2、ω_A、ω_B、V存储在存储模块；T₀、T₁、T₂、Q₁、Q₂、Q₃、Q₄通过测量设定或人为设定。

7.(307)判断速度V是否大于阈值Q₅，如果大于Q₅，则执行(308)，否则执行(311)。Q₅通过测量设定或人为设定。

8.(308)判断左右滚筒角度差值是否小于阈值Q₆，如果小于Q₆，则执行(309),否则执行(302)。Q₆通过测量设定或人为设定。

9.(309)触发预警，置预警标志。

10.(310)判断角速度ω是否大于0，如果大于0，则执行(333)发送摇臂自动升降报警信号，否则执行(333)发送摇臂锁不住，有下沉现象报警信号。

11.(311)判断速度V是否大于阈值Q₇，如果大于Q₇，则执行(321)，否则执行(312)。Q₇通过测量设定或人为设定。

12.(312)次数n置0，次数m加1。

13.(313)判断次数m是否大于阈值Q₈，如果大于Q₈，则执行(314)，否则执行(319)。Q₈通过测量设定或人为设定。

14.(314)触发预警，置预警标志。

15.(315)判断采煤机位置I₀是否在(Q₉，Q₁₀)内，如果在范围内，则执行(333)发出采煤机牵引力不足报警信号，否则执行(316)。Q₉、Q₁₀通过测量设定或人为设定。

16.(316)判断角速度ω是否大于阈值Q₁₁，如果大于Q₁₁，则执行(317)，否则执行(320)。Q₁₁通过测量设定或人为设定。

17.(317)取消预警。

18.(318)次数n、m置0。

19.(319)将次数n、m存储在存储模块。

20.(320)判断角速度ω是否大于0，如果大于0，则执行(333)发出摇臂调高速度下降报警信号，否则执行(333)发出摇臂不能调高报警信号。

21.(321)次数m置0，次数n加1。

22.(322)判断次数n是否大于阈值Q₁₂，如果大于Q₁₂，则执行(323)，否则执行(319)。Q₁₂通过测量设定或人为设定。

23.(323)触发预警，置预警标志。

24.(324)判断采煤机位置I₀是否在(Q₁₃，Q₁₄)内，如果在范围内，则执行(333)发出采煤机牵引力下降报警信号，否则执行(317)。Q₁₃、Q₁₄通过测量设定或人为设定。

25.(325)对采煤机跟踪丢失前最后一帧图像I_A、I_B、I_C、I_D处标记，提取随后K帧图像内这四处位置的灰度值，并分别进行运算。求取K帧图像内大于等于设定阈值N₁的像素算术平均值，得到像素值D_H；求取K帧内小于等于设定阈值N₂的像素算术平均值，得到像素值D_L。

26.(326)判断D_H是否大于等于设定阈值N₃，如果大于N₃，则执行(328)，否则执行(330)。

27.(326)判断喷雾是否打开，如果打开，则执行(301)，否则执行(328)。

28.(328)每间隔X帧对摄像机采集的视频图像f(x,y)与所存采煤机背景图像g(x,y)进行累积差值处理，通过累积差值运算处理Y帧后，求大于等于设定灰度值T₁的像素总和D_W。

29.(329)判断D_W是否大于等于设定阈值N₄，如果大于等于N₄，则执行(333)发出水灾报警信号，否则执行(301)。

30.(330)判断D_L是否大于等于设定阈值N₅，如果大于N₅，则执行(331)，否则执行(301)。

31.(331)通过累积差值运算处理Y帧后，求大于等于设定灰度值T₂的像素总和D_F。

32.(332)判断D_F是否大于等于设定阈值N₆，如果大于等于N₆，则执行(333)发出瓦斯泄露报警信号，否则执行(301)。

33.(333)发出报警信号。包括：摇臂自动升降报警信号；摇臂锁不住，有下沉现象报警信号；采煤机牵引力不足报警信号；摇臂调高速度下降报警信号；摇臂不能调高报警信号；采煤机牵引力下降报警信号；突发水灾报警信号；瓦斯泄露报警信号。