利用数据处理装置进行模式识别和图像监控的实现方法

专利名称：利用数据处理装置进行模式识别和图像监控的实现方法
技术领域：
本发明属于模式识别领域，尤其属于一种利用数字处理装置如手机对现场图像进行 模式识别用于图像监控的方法。
背景技术：
随着社会物质水平的提高，安全防护越来越获得人们的关注，当前有各种各样的安 防产品充斥市场，但是由于大部分安防产品造价昂贵，非一般消费者可以承受。市场上常见的安防产品的实现原理基本上可以归为两类， 一类是将现场场景图像或 声音通过电缆传入监控中心，由值班人员根据画面或声音进行主观判断，即所见即所得； 另一类是基于图像处理或模式识别技术对现场采集的图像或声音进行处理和识别，并将 识别结果传入监控中心，因此所采用的识别技术直接决定了识别结果，此类技术在专利 文献中报道比较多，如专利申请号为03119517.2的中国专利"基于人脸识别和手形识别 的双模态生物认证系统"、专利申请号为03147600.7的中国专利"一种用于安全防犯的 现场图像远程接收的系统及其方法"等等。第一类实现方法由于自动化程度较低，因此 逐渐被淘汰，随着模式识别技术的日臻成熟，第二类实现方法已经得到了广泛应用，但 目前此类设备存在的缺陷是成本高，且使用不够自由方便。本发明所提供的安防实现即 采用第二类方法。发明内容本发明所要解决的技术问题是提供一种利用数据处理装置进行模式识别和图像监 控的实现方法，它实施简单容易，使用自由方便，成本低，可靠性强。本发明解决上述技术问题所采用的技术方案为 一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置，其步骤依次为(1 )现场场景图像获取步骤在一定时间间隔内，依次至少要获取一张静态场景图像 和一张当前的场景图像；
(2 )图像差影处理步骤将静态场景图像和当前的场景图像的对应像素相减来获得差 影结果图像；(3 )图像分割处理步骤采用分割算法对差影结果图像进行分割获得分割图像；(4) 后处理步骤对分割图像进行形态运算，获得形态运算结果图像；(5) 判断及报警步骤统计形态运算结果图像中的异常部分图像占整幅图像的比例， 当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限 时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。有益的改进是，所述的现场场景图像获取步骤中获得的两幅图像需要进行低通滤波 处理，以最大限度的抑止各种高频噪声对目标检测结果的影响。作为进一步改进，所述的现场场景图像获取步骤中获得的两幅图像或滤波后的图像 需要转换为灰度图，以减少后续处理的延时，提高图像检测速度，改善检测的实时性。更有益的改进是，所述的图像分割处理步骤分割算法是方差或偏态指标的方法，或 者根据现场条件选择其中之一作为当前的分割算法。为了更好的从图像中提取出目标物，在图像分割处理步骤采用结构元素对分割图像 进行腐蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将异常部分边缘空洞 填充起来，最终得到异常部分图像。而且，所述的报警为启动警铃，或将有目标物的图像通过有线或无线方式发给相关 人员做进一步确认或处理，进一步提高了现场监控的可靠性。当然报警也可以为启动警 铃并将异常部分图像和包括时间或当前的场景图像相关信息存储在手机的存储器中。为了保证能获得较有价值的现场图像，在获取图像步骤中的两幅图像之间的时间间隔为0,2-10秒范围。另外，为了实现循环检测和连续监控，在触发报警后可以中断后续的检测，使得该 监控装置一直处于报警状态，或者使得该装置一直处于报警状态的同时，不中断后续检 测，则开始下一次检测的时候，选取上一次检测的静态场景图像作为本次检测的静态现 场图像，再另取一张当前的场景图像，进行后续的检测对比。关于预设上限的数值范围，可以根据测试结果进行调整， 一般设1%到5%来判断是否有人进入，另外这个值也和场景分辨率有关，即与拍摄得到的图像大小有关，考虑 到所用的手机屏幕比较小，可以将选取的值定为1%.上述的数据处理装置是指具有一定数据处理能力的电子装置，该装置具有摄像头或 摄像机用于获取现场的图像，有报警模块，如扬声器等，有与其他装置通信的模块(如
有必要)，如用于无线通信的收发器，用于有线通信的导线等，在该装置中集成有模式 识别和图像处理等功能的程序，该装置可以是手机、PDA (Personal Digital Assistant个 人数字助理)、电脑装置、数字电视、数码相机、数码摄像机以及专门设计制造的安防 装置或系统。与现有技术相比，本发明的优点在于安全防护效果良好，而且实施简易，对硬件 要求不高，因此可以大大降低目前安防产品的成本，该方法将获取的图像转换为灰度图 进行处理，处理速度快，可以实现实时监控，该发明不但能自动识别图像中目标物而报 警，而且可以将监测到的目标物的图像传输给相关人员作进一步确认或处理，因此具有 较高的可靠性，由于目前拍照甚至摄像已经成为数字产品如手机普遍的功能，因此，可 以将该发明集成于手机上， 一方面可以大大降低投资成本，另一方面也可以做到随身携 带，使用自由方便，具有广泛的市场前景。而且，目前该发明已经在手机上试验并取得 了良好的效果。


图l一次检测的流程图；图2a静态场景图像；图2b当前的场景图像；图2c两者差影图像；图3差影图像分割结果；图4分割图像形态运算结果。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。如图l所示， 一种利用数据处理装置进行模式识别和图像监控的实现方法，该方法 利用带摄像或数码照相功能的数据处理装置，在本实施例子中，数据处理装置为一款带 摄像或数码照相功能的手机。该方法主要由图像获取、预处理、差影、分割、后处理以 及判断和报警等步骤组成。以下分别对每一步骤逐一详细描述。 (1)图像获取获取场景图像的方法可以是采用照相机连拍，取得一副静态场景图以及当前的场景 图，或者采用摄像机获得所需的图像，即选择2帧连续的时间相隔T (根据实际情况设
定， 一般在0.2 10秒之间，比如5秒，l秒或0.5秒)的图像。本实施例釆用连拍的方 法获取两幅图像。因此要实现对现场实施实时的连续的监控，需要使得照相机处于连拍 的状态下或者是使得摄像机处于拍摄状态下，即处于监控状态下。由于图像处理对图像 质量要求较高，其图像本身的质量对检测结果有较大影响，本例所用的照相机分辨率为 130万像素。由于自动检测是对连续拍摄的两幅图像进行差影处理，因此连拍延时对检 测的准确率也有较大影响，理论上连拍延时或摄像机获取的两帧图像的时间间隔应不小 于目标物进入现场到离开现场的时间间隔。另外，这里所说的是对第一次检测的图像获取，对于下一次检测，如果第一次检测 没有发现目标物进入现场，即没有触发报警，则开始第二次检测的时候，可以选取上一 次检测的现场图像即时间在后的图像作为本次检测的静态现场图像，再另取一张当前图 像(两幅图像的时间差依然是预先设定的T或者大于T)，再进行后续的检测；依次类 推。如果某一次检测发现有目标物如人、动物或车辆进入现场，并触发了报警，则可以 中断后续的检测，使得监控系统(此处为手机) 一直处于报警状态比如警铃一直保持铃 响状态，或者使得监控系统(此处为手机)一直处于报警状态的同时，不中断后续检测， 则开始下一次检测的时候，可以选取上一次检测的静态场景图像(时间在前的图像，因 为该图像中没有目标物)作为本次检测的静态现场图像，再另取一张当前图像(两幅图 像的时间差依然是预先设定的T)，再进行后续的检测；依次类推。另外，检测的图像和相关的时间等其他信息可以备份在系统的存储器中，以备后续 的调阅。(2)预处理由于受外界环境因素影响，通过照相机获得的图像一般都被噪声所污染，如强光、 照相机感光硬件反馈系统等引入的噪声，因此在对获取图像进行检测前要进行一定的预 处理来去除各种不利于异物检测的因素，在本实施例中为了最大限度的抑止各种高频噪 声对目标物检测结果的影响，对连拍得到的两幅图像进行低通滤波处理；另外为了减少 检测延时，为了提高检测效率，将滤波后的图像转换为灰度图，因此本例的后续的检测 方法都是对灰度图而言的。图2中的(a)和(b)图所示为连拍得到的两幅图像， 一幅 图像为静态场景图像，另一幅图像为有目标物如人、动物或车辆闯入时的动态的现场场 景图像。图2b中的目标物为就人。 (3)图像差影处理由于所监测的场景为静态图像，而当有目标物进入所监测场景时，仅仅目标物占 据的图像区域和静态场景图像有明显差异，因此将静态场景图像和有目标物的现场场 景图像的对应像素相减来获得差影图像。设/(x,力为静态场景图像，g(x,力为有目标异物闯入时的场景图像，/z(x,y)为差 影图像，则Wx,力的理论定义如下-其中Q为不被目标物遮盖的静态场景区域，但由于目标物对光线的影响，静态场景区 域的差影结果并不为0，而是在一个较小范围内浮动的整数。差影实例如图2所示，其中图2(a)为静态场景图像，图2(b)为有目标物时的场景 图像，图2(c)为差影结果图像，从图2(c)可以看出差影后的静态区域像素值并不全为 零。(4)差影图像分割由于目标物对光线的影响，从差影后的图像中并不能完全分离出目标物，因此需 要对差影结果图像进行分割以分离出非法闯入图像中的目标物。由于外界光线的变化，同时又由于没有通用的分割算法，因此本例根据差影图像 亮度的强弱而采用不同的分割算法。在数理统计中，随机样本数据的均值为样本的一阶统计矩，它衡量数据的平均值 大小；方差为样本的二阶统计中心矩，它衡量随机数据离散的程度；而偏态指标为样本的三阶中心统计矩，它衡量随机数据分割偏离正态分布的程度。设随机样本为xW， 概率密度分布函数为p(x)，则方差和偏态指标定义如下所示设差影图像只由目标物和场景组成，则分割二者即是找到适当阈值，为了减少运算量，0
本文在差影图像亮度较低的情况下基于方差求最佳阈值；在差影图像亮度较高的情况 下，基于方差得到的阈值不能较好的分割目标异物和场景，因此在亮度较高的情况下 基于目标物和场景的偏态指标求最佳阈值。下面分别介绍基于方差和偏态指标的分割方法。1) 基于方差的分割方法设/CW为目标物和背景两类间方差，_/7"为两类内的类内方差和，w为差影图像 内的像素平均值，",为背景像素平均值，"2为目标物区域像素平均值，另外 /H'W077Gmm为直方图，gra》为差影图像灰度级数，/we/为阈值，贝U:<formula>formula see original document page 9</formula>取使/6W/,最大的/ew/做为最佳阈值即可以对差影图像进行分割。2) 基于偏态指标的分割方法设(T^和t7^分别为静态背景和目标物像素的均方差，^为背景像素平均值，"2为目标物区域像素平均值，二者的偏态指标分别为^和《2，总偏态指标为K， Z^/oo;Gmw为归一后的直方图，gray为差影图像灰度级数，/eve/为 阈值，则:<formula>formula see original document page 9</formula>当阈值/ew/为最佳阈值时，背景和目标物的灰度分布会接近正态分布，即当尺 为最小值时的阈值few/为最佳阈值。图3为采用本文所述分割方法对差影图 像进行分割所得的分割图像。(5) 后处理如图3所示，由于目标物对光线的影响，阈值分割后的图像中除了目标外，还包 括高频噪声以及目标物对场景的干扰点，因此为了提取目标物，必须对分割图像进行 后处理。由于本方法检测的目的是检测出是否有目标物出现，而对目标物为何物并不关 心，因此本方法采用形态运算对分割图像进行后处理。数学形态学是一种非线性滤波方法，可以用于处理抑止噪声、特征提取、边缘检 测、图像分割等问题。数学形态学的特点是能将复杂的形状进行分解，并将有意义的 形状分量从无用的信息中提取出来。为了方便进行形态处理，对分割图像进行二值化 处理。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与二值图像进行 交、并等集合运算。其基本的形态运算是腐蚀和膨胀。简单的腐蚀是一种消除边界点 的过程，结果使目标物縮小，因而可以有效消除孤立噪声点；膨胀是将与目标物距离 很小的所有目标物断裂点合并到目标物上，使目标物孤立点融入目标物本身，从而使 目标物更明显，更利于目标物检测。由于场景区域的噪声点比较稀疏，因此先用1X3的结构元素对分割图像进行腐 蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将目标物边缘空洞填充起 来，最终得到目标物。形态运算结果如图4所示。上述相关的图象识别技术可以参考《Visual €++数字图像处理典型算法及实现》(邮电出版社)或者是《数字图像处理及模式识别》(沈庭芝，方子文编著，出版社 北京理工大学出版社，ISBN: 781045403X)。(6) 判断及报警本例对检测结果的处理方法为统计目标物的异常部分图像占整幅图像的比例，当 比例超出预设上限时认为有非法闯入，则触发警铃，或将有目标物的图像通过彩信发 往用户随身携带的手机进行进一步确认。
另外，如果上述统计的比例没有超出预设的上限，则返回到第一步骤"获取图像" 开始下一检测流程。至此， 一个检测流程结束。关于所述的预设上限的数值范围可以根据测试结果调整； 一般设1%到5%来判 断是否有目标物进入，另外这个值也和场景分辨率有关，即与拍摄得到的图像大小有 关，在本例中，因为所用的手机屏幕比较小，所以选取的值为1%。实际上，本发明在一款手机上的应用已经获得了试验成功，集成有该发明的手机 可以有效检测到非法闯入的目标物，实验结果显示，该检测方法具有较高的准确率，在 光线非直射情况下，准确率可以达到卯％以上。同时根据一定的检测条件，既可以进行 鸣笛报警，也可以将非法闯入的现场图像以彩信方式传入用户随身携带的移动终端中， 以便进行进一步的确认，进一步提高了现场监控的可靠性。由于为了减少运算量，降低检测延时，上述实施例中采用照相机拍摄得到的128X 120縮略图进行检测处理，因此图像所含信息比较少，从而造成检测准确率不太高，如 果采用实际拍摄图像进行处理，则准确率会有进一步的提高，但检测延时也会增加，从 而降低自动检测的实时性。因此，如果采用更高处理速度的数据处理芯片，则可以同时 满足检测准确率和实时性这两个方面的要求。本实施例子手机为GSM (Global System for Mobile Communications,中文为全球移 动通讯系统)制式，无摄像功能，摄像头为130万像素，其他硬件和软件均为普通配置， 由此充分说明了该方法的对硬件的依赖程度低，实用性好，成本低廉。以上实施例是一个优选的示例，但本发明的保护范围由权利要求确定，而不限于本 实施例所公开的范围。该方法可以集成于手机或PDA中，或电脑装置中，也可以应用 在专门用于安防的电子装置中，只要这种装置具备摄像头(或摄像机)、具有一定的数 据处理能力，以及具有与其他设备和装置通信的能力。
权利要求
1.一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置，其步骤依次为(1)现场场景图像获取步骤在一定时间间隔内，依次至少要获取一张静态场景图像和一张当前的场景图像(2)图像差影处理步骤将静态场景图像和当前的场景图像的对应像素相减来获得差影结果图像；(3)图像分割处理步骤采用分割算法对差影结果图像进行分割获得分割图像；(4)后处理步骤对分割图像进行形态运算，获得形态运算结果图像；(5)判断及报警步骤统计形态运算结果图像中的异常部分图像占整幅图像的比例，当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。
2. 根据权利要求1所述的实现方法，其特征在于所述的现场场景图像获取步骤中获得的两幅图像需要进行低通滤波处理。
3. 根据权利要求1或2所述的实现方法，其特征在于所述的现场场景图像获取步骤 中获得的两幅图像或滤波后的图像需要转换为灰度图。
4. 根据权利要求3所述的实现方法，其特征在于所述的分割算法是方差或偏态指标 的方法，或者根据现场条件选择其中之一作为当前的分割算法。
5.根据权利要求4所述的实现方法，其特征在于所述的图像分割处理步骤采用结构 元素对分割图像进行腐蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将异 常部分边缘空洞填充起来，最终得到异常部分图像。
6. 根据权利要求5所述的实现方法，其特征在于所述的报警为启动警铃，或将异常 部分图像通过有线或无线方式发给相关人员做进一步确认或处理。
7. 根据权利要求5所述的实现方法，其特征在于所述的报警为启动警铃并将异常部 分图像和包括时间或当前的场景图像相关信息存储在手机的存储器中。
8. 根据权利要求6所述的实现方法，其特征在于所述的一定时间间隔在0.2-10秒 范围。
9. 根据权利要求6所述的实现方法，其特征在于所述的报警后可以中断后续的检 测，使得所述的装置一直处于报警状态，或者使得所述的装置一直处于报警状态的同时， 不中断后续检测，则开始下一次检测的时候，选取上一次检测的静态场景图像作为本次检测的静态现场图像，再另取一张当前的场景图像，进行后续的检测对比。
10. 根据权利要求6所述的实现方法，其特征在于所述的预设上限数值为1-5%。
11. 根据权利要求6所述的实现方法，其特征在于所述的数据处理装置为手机、PDA 个人数字助理、电脑装置、数字电视、数码相机、数码摄像机、或者是专门设计制造的 安防装置或系统。
全文摘要
一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置如手机，其步骤依次为现场场景图像获取步骤；像差影处理步骤；图像分割处理步骤；后处理步骤；判断及报警步骤，统计形态运算结果图像中的异常部分图像占整幅图像的比例，当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。它结构简单，使用自由方便，成本低，可靠性强，适合推广使用。
文档编号H04N7/18GK101163234SQ20061005386
公开日2008年4月16日 申请日期2006年10月13日 优先权日2006年10月13日
发明者扬 崔 申请人:杭州波导软件有限公司