专利名称：一种基于立体视觉的煤仓料位测量方法和系统的利记博彩app
技术领域：
本发明为一种基于立体视觉的煤仓料位测量方法和系统，属于机器视觉、图像处 理和自动化领域，用于快速正确获得煤仓料位的三维位置信息。
背景技术：
煤仓料位的检测是煤矿安全生产的重要措施，直立型井底煤仓和倾斜式井底煤仓 是我国目前矿井常用的煤仓形式。随着煤源源不断地送入煤仓，煤面离煤仓顶部的距离越 来越小，如不及时停止加煤，就有可能溢出，造成煤堆积，使生产中断，严重的可以造成重大 煤矿事故；如果煤下降到规定的最低料位后，如果不及时停止卸煤，会造成上下通风，使得 煤尘大量上扬，造成粉尘浓度急剧增加，可能造成爆炸，酿成煤矿事故。目前常用的煤仓料 位检测方法有重锤式、电极式、电容式、机杆式、称重式、回转翼轮式、雷达式、超声波式、激 光式、核子式等。其中重锤式、电极式、电容式、机杆式、称重式和回转翼轮式属于接触式测 量方法，其余的为非接触式测量方法。最常用的有基于射频电容技术、基于超声波技术和 基于雷达技术的三种测量方法，基于射频电容技术测量方法将一个无线电频率发送到探头 上，通过连续的分析电容量的变化来实现测量；基于超声波技术的测量方法利用超声波发 送和接受的时间差来实现测量；基于雷达技术的测量方法利用电磁波的发射波与反射波时 间差来实现测量。中国专利申请号200710038493. 8，
公开日2008. 9. 24，公开了一种基于机器视觉 的非接触式连续测量小颗粒状物质料位的高可信度方法及其装置，装置有特殊点光源、图 像采集机、机器视觉模块等组成，图像采集机采集由点光源发射出的光束在物料表面形成 的高亮度光圆图像，通过机器视觉模块采用验证型光圆检测算法进行分析和处理，计算出 光圆的直径或面积大小，进而获得物料值，从而实现物料测量。中国专利申请号01107328. 4，
公开日2002. 11. 6，公开了一种数字视频料位计，由 视频输入器、图像采集卡、微处理器和显示屏等相互连接而成，把视频输入器对准被测物 料，视频输入器又连接到图像采集卡的视频输入端，微处理器控制图像采集卡按用户设定 的采样周期采集料位图像、并对图像进行处理，将分析的料位坐标值与标定的刻度计比较 计算出料位真实值，同时将料位图像、料位真实值以及该值的变化趋势显示在显示屏上。目前基于视觉的煤仓料位测量方法，都是由二维图像推测煤仓料位的三维信息， 这些方法和设备有着以下问题。1)精度低，误差大。当空间三维场景物体投影到二维图像时，同一景物在不同视点 下图像相差很大，且由于煤仓中条件恶劣，煤的几何形状和物理特性，噪声干扰等，都被综 合在单一的图像灰度里。从包含如此之多不利因素的图像中很难求得高精度的、深度信息， 很可能造成很大误差。2)主动性差；由三维景象的二维图像被动推测三维信息，本身就是“病态”问题， 而不是主动获得煤仓中煤的二维信息。3)不易部署，在井下煤仓的有限位置部署，基于PC的视觉系统，比较困难，且很难实现煤矿安全生产的特性。4)实时性差。由二维图像推测三维信息，演算第三维的深度信息，计算量大，速度 量大，实时性差。为了提高煤仓料位测量的主动性，高精度，实时获得煤仓中煤的深度信息，且易于 部署，本发明提供了一种基于立体视觉的煤仓料位测量方法和系统。
发明内容
本发明的目的是提供一种基于立体视觉的煤仓料位测量方法和系统，系统包括 光学子系统、嵌入式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12。 光学子系统，如图1，图6，图12，包括一个光源模块13、镜头66、环形测光计14和深度感知 视觉传感器67 ；光源模块进一步包括光源驱动控制器63和光源64 ；嵌入式处理子系统，如 图11，包含主处理U11、存储器U12和采集模块P3。主处理Ull是基于ARM+DSP双核架构 的，DSP核负责图像的处理，分析；ARM核心负责与外界交互和通信。如图2，主处理Ull通 过ARM核与装煤传感器33、卸煤传感器32、装煤输出35、卸煤输出34构成系统控制。光源模块13发出的光投射到煤仓61中的煤面62上，光敏感的深度感知视觉传感 器67捕捉到从煤面62上反射回来的光，这些光包括光源模块13发射的光被煤面62发射 回来的光。基于反射光和发射光的相位延时积分的原理，深度感知视觉传感器67把捕获的 光转换成包含煤仓61中煤62深度信息的深度图像和光强图像。嵌入式主处理器Ull对视 觉传感器67输出的含有煤仓61中煤62深度信息的数据进行处理，分析，以便实现煤仓料 位的测量，并高效地作出正确的决策，以便及时合理地停止向煤仓61中加煤62和从煤仓61 中卸煤。如图6，光源驱动控制器63根据环形测光计14测得的返回光的强度，自动调整驱 动或点亮光源64的LED的数量，使光源64发射的光的强度处于一个合适的范围；64发射 的光发射到煤仓61里煤面62上；深度感知视觉传感器67不仅能捕获光产生光强图像，还能产生包含深度信息的 深度图像，原因在于其独特的像素结构，一般CMOS图像传感器的像素结构，如图7，只有一 个接受光的接收器，而深度感知视觉传感器67的像素结构，如图8，包含两个接收器同相 接收器82和异相接收器81。其产生包含深度信息的深度的原理是依据发射光和放射光的 相位移位延时的积分差的原理。其积分过程，如图9，在相同的积分时间内，根据同相接收 器82接受的光的相关量(黑色阴影部分)与异相接收器81接受的光的相关量(黑色阴影 部分)的差来产生深度图像。本发明基于立体视觉的煤仓料位测量方法可由两种工作方式，方式1是由实时检 测控制系统检测模式切换；方式2是由卸煤传感器32和装煤传感器33控制系统检测模式 切换。方式1的具体实施时可以不用装卸煤传感器32和装煤传感器33。方式1的具体检测流程，如图3，当煤仓料位没有变化或变化小于某个阈值，系统 以慢检测模式212不同重复步骤110和步骤111，步骤110包含两个子步骤执行料位检测 24和判断料位是否变化26，步骤111包含两个子步骤执行料位检测28和判断料位是否变 化29，其中执行料位检测24和执行料位检测28采用下列识别煤仓中煤的识别方法之一， 最近邻判别算法、支持向量机、脉冲耦合神经网络。当煤仓中的料位有变化或变化大于某个阈值时，系统迅速切换到快速检测模式213，其切换的过程和方法，如5，如果系统正运行在 慢检测模式，通过降低分辨率，提高快门速度42把系统转换到快检测模式213，以便满足装 煤和卸煤过程中高速检测。但料位无变化或变化小于某个阈值时，系统切换到慢检测模式 212，其切换的过程和方法，如6，如果系统正运行在快检测模式213，通过提高分辨率，降低 快门速度52转换系统运行在慢检测模式，以便减少系统的开支和功耗。方式2的具体检测流程是当装卸煤传感器32或装煤传感器33有信号时，系统切 换到快检测模式，当卸煤传感器32或装煤传感器33无信号时，系统切换到慢检测模式。由于煤的高反射性和煤仓发热的深度，本发明所述的光源模块13的发光强度能 够自适应调整，其调整的具体流程如图10，图6所示光源驱动控制器63驱动光源64发光100，光源发射光101照 射到煤仓61的煤面62上，煤面62反射光经镜头66后送到视觉传感器67，在镜头66前的 环形测光计14测量反射回来的光强102，如果光强T在Tl和T2之间103，不用改变驱动或 点亮光源的LED的数量，如果光强T小于光强Tl 104，则增加驱动或点亮106光源64的LED 的数量，使光源64发射更强的光，如果光强T大于光强T2 105，则减少驱动或点亮107光 源65的LED的数量，使光源65发射更弱的光，如此循环不断调整光源64发射光的LED的 数量，使得光强处于一个合适的范围。本发明的有益效果是1)精度高，鲁棒性好。本发明采用真正获得三维场景中的三维图像，而不是从二维 图像“病态”推出三维景物的深度信息，精度高，由于可以操作传感器只接受某个频段范围 的光，排除了很多外在干扰，测量的鲁棒性好。2)主动性强。本发明不仅能够提供整个煤仓中煤的深度，而且还能仅仅准确测量 某些点的深度，大幅度减少运算量，具有很好的主动性。3)实时快速。本发明中煤仓中煤的深度信息是有视觉传感器主动获得的，不像由 二维图像那样演算三维信息，具有很高的实时性，并且本发明根据煤仓中煤的情况采用不 同的检测方法，很好保证了系统的低功耗和高实时性。4)易于部署，本发明采用嵌入式架构，采用多层电路板设计，可以做的很小，在井 下有限的空间里，很容易部署，且易于实现煤矿安全的本安特性设计。5)扩展性好。本发明采用双核架构的主处理，处理器本身集成了大量的常规接口， 易于扩展，以便和不同的设备进行交互和通信。
图1是本发明的机构框图。图2是本发明与外界通信结构框图。图3是本发明信息处理和实时检测流程图。图4是慢检测模式转换流程图。图5是快检测模式转换流程图。图6是光学子系统组件框图。图7是普通CMOS传感器像素结构框图。图8是深度感知CMOS传感器像素结构框图。
图9是深度感知CMOS传感器工作原理图。图10是光源模块发光强度自适应调整流程图。图11是嵌入式处理子系统结构框图。图12是系统装配3D透明图；图13是系统装配图的剖面图；图14是图像采集模块与主处理器连接原理图。图15是程序存储器与主处理器连接原理图。图16是数据存储器与主处理器连接原理图。图17是嵌入式主处理的电源部分原理图。具体实施方法下面将结合附图对本发明的具体实施进行说明。为了提高煤仓料位测量的主动性，高精度，实时获得煤仓中煤的深度信息，且易 于部署，本发明提供了一种基于立体视觉的煤仓料位测量方法和系统；光学子系统和嵌入 式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12组成。光学子系 统主要包括光源模块13、深度感知视觉传感器67、环形测光计14和镜头66 ；嵌入式处理子 系统主要包括嵌入式主处理器U11、存储器U12，图像采集模块P3等。系统工作原理是光源模块13发出的光投射到煤仓61中的煤面62上，光敏感的深 度感知视觉传感器67捕捉到从煤面62上反射回来的光，这些光包括光源模块13发射的光 被煤面62发射回来的光，基于反射光和发射光的相位延时积分的原理，深度感知视觉传感 器67把捕获的光转换成包含煤仓61中煤深度信息的深度图像和光强图像。嵌入式主处理 器Ull对视觉传感器67输出的含有煤仓61中煤62深度信息的数据进行处理，分析，以便 实现煤仓料位的测量，并高效地作出正确的决策，以便及时合理地停止向煤仓61中加煤62 和从煤仓61中卸煤。系统具体检测方法是1)启动实时检测前，通过学习煤仓中煤的特征，以便实时检测过程中利用这些特 征来检测煤的存在及位置；2)启动采集后，实时检测煤仓中煤的特征信息；3)如果煤仓中煤位没有变化或变化小于某个阈值，采用慢检测模式；4) 一旦检测到煤位有变化或变化大于某个阈值，采用快速检测模式；5)视觉传感器67获得的深度图像和光强图像数据经f2电传到到Ull进行处理、 分析；6)U11经fl给视觉传感器发送控制信号，以便改变视觉传感器67的采集的分辨率 和快门速度，采集时序等。系统的硬件架构如图12，图13，光源13、视觉传感器67，光源驱动控制器63和嵌入式子系统16都 是以电路板的形式构成，分别为光源板22、图像采集源板23、光源驱动控制器板24和处理 主板25 ；光源板22和环形测光计14通过螺钉连接在隔爆外壳12上，LED阵列26电联结到 光源板22上；镜头66通过螺纹连接到工业绝缘板20上，深度感知视觉传感器67通过接插 件电连接在图像采集源板23上；光源板22、图像采集源板23、光源驱动控制器板24和处理
7主板25通过螺钉固定在工业绝缘外壳20上；光源板22与光源驱动控制器板24通过电缆 电连接；图像采集源板23与处理主板25通过接插件电连接；光源驱动控制器板24与处理 主板25通过接插件电连接；工业绝缘外壳20通过螺钉固定在外壳12上。在本发明中，系统的供电通过矿用电缆27直流24V供电，内部的转换电路是常规 的转换电路；信号的输入和输出都是通过矿用电缆28传输的。下面将详细指明本发明硬件电路的联接(如图14 图17):如图14所示，图像采集模块P3的3、4、5、10、12、13、15、16 26端口经U28、U76 电平转换后分别与 Ulic 的 B22、C22、J20、J19、E18、A22、G21、F21、K23、J23、K24、L24、B21、 G20、F19、G19、AC18、AB18 电连接；如图15所示，程序存储器U12A的16位数据端Ni、N2、N3、M5、P7、M6、N6、M8、P2、 P3、N4、P4、P5、N7、M7、N8 分别与 UllB 的 L2、Ml、M2、N2、M3、PI、P2、Rl、R2、T2、Ul、R3、T3、 U2、V1、V2电连接；如图16所示，数据存储器U12B的14位地址线K4、Li、L2、L3、C2、D2、El、D3、E2、 D4、K3、F2、F1、M3 分别与 UllA 的 A4、B4、D6、B3、B2、C3、E3、F6、E10、E9、E7、G6、G7、F7、F9 电连接；如图16所示，数据存储器U12B的32位数据线1^4、1^5、1^6、1^7、1(8、1^8、1(7、1(5、1(6、 G7、J6、J5、H6、H5、J4、G3、G4、F4、E4、F5、H3、H4、E6、F7、F6、D5、E8、D6、D8、D7、C8、C7 与 UllA 的 D7、C5、C6、B5、D9、D10、C7、B7、B11、C12、B12、D13、C13、B14、A14、B15、C9、E12、B8、 B9、C10、B10、D12、E13、E15、D15、C15、B16、C16、D16、B17、B18 电连接；如图17 所示，UllG &M6、N6、R6、M7、N7、R7、T7、M8、N8、R8、T8、G9、H9、J9、F10、 G10、H10、J10、L11、L12、M12、U12、V12、W12、U13、V13、W13 端接 1. 2V 的电压节点 VC0RE1，并 经电容 C75、C76、C77、C78、C79、C80、C81、C82、C83、C84 耦合接地；UllG 的 T20、T19、R19、 K19、T18、R18、K18、J18、T17、R17、K17、J17、M15、L15、M14、L14、H13、G13、F13、H12、G12、 F12端接1. 2V的电压节点乂0)1 2，并经电容〇85、〇86、〇87、〇88、〇89、〇90、〇91、〇92、〇93耦 合接地；如图17所示，UllH的AA13端口接1. 8V的电压节点VI0，并经电容C59、C60、C61、 C62、C63、C64、C65、C66、C67、C68、C69 耦合接地；UllH 的 N24、H8、G18、U17、AB13 端分别接 1. 8V 的电压节点 VMMCl、VMMCl、VPLLl、VPLLl、VDAC，并分别经电容 C70、C71、C72、C73、C74
耦合接地；本发明中硬件电路中标号的物理意义
权利要求
一种基于立体视觉的煤仓料位测量方法和系统，其特征在于由光学子系统、嵌入式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12组成。光学子系统主要包括光源模块13、深度感知视觉传感器67、环形测光计14和镜头66；嵌入式处理子系统主要包括嵌入式主处理器U11、存储器U12，图像采集模块P3等。基于立体视觉的煤仓料位测量方法包含如下步骤1)上述的光源模块13发射光投射到煤仓61的煤面62上，视觉传感器67的像素阵列的每个像素采集由煤面62发射的经过镜头66聚集的部分光，这些光包括光源模块13发射的光被煤面62反射的部分光。依据反射光和发射光的相位延时积分的原理，视觉传感器67把采集的光转换成包含煤仓61煤位深度信息的深度图像和光强图像。视觉传感器67重复地采集多帧图像以增加信息的可靠性。2)上述的嵌入式主处理器U11以及其上嵌入的处理分析算法程序重复地处理、分析由1)所采集的深度图像和光强图像，以便实现煤仓料位的测量，并高效地作出正确的判断和决策。
2.根据权利要求1所述的方法和系统，其特征在于环形测光计14测量经煤面发射的进 入镜头66的光的强度，并把测量的强度值输入端光源驱动控制器63中。
3.根据权利要求1所述的方法和系统，其特征在于所述的光源模块13进一步包括光 源驱动控制器63和光源64，光源64由LED圆形阵列组成，光源驱动控制器63根据环形测 光计14测得的返回光的强度，自动调整驱动或点亮光源64上的LED数量，使光源64发射 的光的强度处于一个合适的范围；光源64发射的光发射到煤仓61里煤面62上。
4.根据权利要求1所述的方法和系统，其特征在于所述的带视窗的隔爆外壳12的视 窗是高透光的。
5.根据权利要求1所述的方法和系统，其特征在于所述的煤仓61中的料位无变化或 变化小于某个阈值时，系统运行在慢检测模式212，如果目前运行在快检测模式213，通过 提高图像分辨率，减小快门速度52进入慢检测模式212。
6.根据权利要求1所述的方法和系统，其特征在于所述的煤仓61中的料位有变化或 变化大于某个阈值时，系统应该运行在快检测模式213，如果目前运行慢检测模式212，通 过降低图像分辨率，增加快门速度42进入快检测模式213。
7.根据权利要求1所述的方法和系统，其特征在于作为可选的工作方式，所示的系统 检测模式也可根据卸煤传感器32、装煤传感器33信号来切换，当卸煤传感器32、装煤传感 器33有信号时，切换到快检测模式；当卸煤传感器32、装煤传感器33无信号时，切换到慢 检测模式。
8.根据权利要求1所述的方法和系统，其特征在于所述的处理分析算法程序至少包 含下面算法中的一种⑴最近邻算法；⑵支持向量机；⑶脉冲耦合神经网络。
9.根据权利要求1所述的方法和系统，其特征在于所述的嵌入式子系统主要由嵌 入式主处理器U11、存储器U12和图像采集模块P3组成；主处理器Ull进一步包括U11A、 UlIB、Ul 1C、UlID、UllG和UllH组成；存储器U12进一步包括程序存储器U12A和数据存储 器 U12B.。
10.根据权利要求1所述的方法和系统，其特征在于10所述的图像采集模块P3的3、 4、5、10、12、13、15、16 26 端口经 U28、U76 电平转换后分别与 UllC 的 B22、C22、J20、J19、E18、A22、G21、F21、K23、J23、K24、L24、B21、G20、F19、G19、AC18、AB18 电连接。
11.根据权利要求1所述的方法和系统，其特征在于10所述的程序存储器U12A的16 位数据端 Ni、N2、N3、M5、P7、M6、N6、M8、P2、P3、N4、P4、P5、N7、M7、N8 分另U与 UllB 的 L2、 M1、M2、N2、M3、P1、P2、R1、R2、T2、U1、R3、T3、U2、V1、V2 电连接。
12.根据权利要求1所述的方法和系统，其特征在于10所述的数据存储器U12B的14 位地址线 K4、Li、L2、L3、C2、D2、El、D3、E2、D4、K3、F2、Fl、M3 分另U与 UllA 的 A4、B4、D6、 B3、B2、C3、E3、F6、E10、E9、E7、G6、G7、F7、F9 电连接；10 所述的数据存储器 U12B 的 32 位 数据线 L4、L5、L6、L7、K8、L8、K7、K5、K6、G7、J6、J5、H6、H5、J4、G3、G4、F4、E4、F5、H3、H4、 E6、F7、F6、D5、E8、D6、D8、D7、C8、C7 与 UllA 的 D7、C5、C6、B5、D9、D10、C7、B7、Bll、C12、 B12、D13、C13、B14、A14、B15、C9、E12、B8、B9、C10、B10、D12、E13、E15、D15、C15、B16、C16、 D16、B17、B18 电连接。
13.根据权利要求1所述的方法和系统，其特征在于10所述的UllG的M6、N6、R6、M7、 N7、R7、T7、M8、N8、R8、T8、G9、H9、J9、F10、G10、H10、J10、L11、L12、M12、U12、V12、W12、U13、 V13.W13 端接 1. 2V 的电压节点 VC0RE1，并经电容 C75、C76、C77、C78、C79、C80、C81、C82、 C83、C84 耦合接地；UllG 的 T20、T19、R19、K19、T18、R18、K18、J18、T17、R17、K17、J17、M15、 L15、M14、L14、H13、G13、F13、H12、G12、F12 端接 1. 2V 的电压节点 VC0RE2,并经电容 C85、 C86、C87、C88、C89、C90、C91、C92、C93 耦合接地。
14.根据权利要求1所述的方法和系统，其特征在于10所述的UllH的AA13端口接 1 · 8V 的电压节点 VI0，并经电容 C59、C60、C61、C62、C63、C64、C65、C66、C67、C68、C69 耦合接 地；UllH 的 N24、H8、G18、U17、AB13 端分别接 1. 8V 的电压节点 VMMC1、VMMC1、VPLL1、VPLL1、 VDAC,并分别经电容C70、C71、C72、C73、C74耦合接地。
全文摘要
本发明涉及一种基于立体视觉的煤仓料位测量方法和系统，系统主要包括光学子系统、嵌入式处理子系统和带视窗的隔爆外壳。光源模块发出的光投射到煤仓中的煤面上，基于反射光和发射光的相位延时积分的原理，视觉传感器采集从煤面上反射回来的光，并把这些光转换深度图像和光强图像。处理器对图像数据进行分析，实现料位的测量，以便及时停止加煤卸煤。光源驱动控制器根据环形测光计测得的返回光的强度自动调整点亮LED的数量，使发光强度处于一个合适的范围。在测量中，根据料位，以及料位变换的情况，由处理器改变视觉传感器的参数，实现慢检测模式和快检测模式的智能切换。慢检测模式实现慢速高精度检测；快检测模式实现快速检测。
文档编号G01F23/292GK101943595SQ20091022333
公开日2011年1月12日 申请日期2009年11月18日 优先权日2009年11月18日
发明者刘松, 孙继平 申请人:中国矿业大学(北京)