一种视频监控智能检测系统及方法
【专利摘要】本发明涉及一种视频监控智能检测系统及方法，其中，系统由服务器端和客户端组成，服务器端由网关服务器、中心管理服务器、任务响应服务器和第三方服务器组成，客户端由交互界面和网络服务客户端代理组成。服务器管理用户、设备等数据的采集、处理、交换和存储，客户端为用户提供交互界面，以实现用户与服务器间进行交互。本发明针对现有视频监控设备分散部署的实际情况，采用基于网络服务平台的方式实现各个模块之间的连接和数据交换。系统可分布式部署，有效减轻主服务器的负担。系统允许接入的视频监控设备数量大大增加，系统可扩展性强。在进行故障检测时，采用并行方式进行数据计算，有效地提高系统的运算速度和运行、检测效率。
【专利说明】一种视频监控智能检测系统及方法
一、【技术领域】:
[0001]本发明涉及一种视频监控智能检测系统及方法，是一种用于维护视频监控设备的正常工作状态和检测视频监控设备的图像质量的系统及方法。
二、【背景技术】:
[0002]随着视频监控系统在各个领域的广泛应用，保证视频画面的清晰正常成为视频监控的基本要求之一。一旦监控系统中的某些摄像头的画面出现了故障，例如摄像头无视频信号、传输画面出现图像过亮、过暗或者画面中雪花点偏多，都会影响视频监控系统的监控效果。如果不能被及时发现予以解决，可能会造成很大的损失，因此对摄像头的画面质量进行实时检测是很有必要的。
[0003]传统的方法都是靠人工检测，对于视频监控系统覆盖面积较大，监控设备数量高达几百台甚至上千台的情况，靠人工来逐个检测摄像头的工作状态是否正常，工作量巨大，既耗时又费力；并且，摄像头所传输的视频图像出现异常的时间往往是随机的，靠人工检测容易出现漏检情况；另外，每个人对画面质量的判断标准不同，在受客观环境影响的同时，主观因素会占很大比重，影响检测结果的客观性。因此，让系统实现实时的自动检测摄像头的视频图像质量就十分重要了。
三、
【发明内容】
:
[0004]本发明所要解决的技术问题是:本发明一方面提供一种视频监控智能检测系统，通过分析监控视频的图像质量，对安防应用领域内的视频监控设备的故障进行自动检测、自动定位和实时告警；另一方面，提供一种视频监控智能检测方法，针对图像故障、云台故障、预置位故障、录像故障和设备故障进行故障检测，以维护视频监控设备的正常工作。
[0005]本发明所采用的技术方案是:视频监控智能检测系统由服务器端和客户端组成，服务器端由网关服务器、中心管理服务器、任务响应服务器和第三方服务器组成，客户端由交互界面和网络服务(Web Service)客户端代理组成。网关服务器主要负责各个服务器IP的配置和管理；中心管理服务器包括服务器后台监视模块和后台进程管理模块，主要负责设备冲突控制、用户状态、监控摄像头状态及检测状态的管理和更新。任务响应服务器包括检测任务分配模块、核心业务服务模块。检测任务分配模块负责检测任务的分配和调度控制；核心业务服务模块主要负责监控设备管理、用户管理、检测计划管理和检测故障管理。第三方服务器包括第三方设备接入模块、算法服务模块、短信服务模块，第三方设备接入模块负责兼容各厂家视频监控设备，获取和修改监控设备的信息；算法服务模块负责图像质量检测算法、云台及预置位故障检测算法、录像故障检测算法和设备故障检测算法的实现；短信服务模块负责向监控设备相关的运维人员发送短信。客户端的交互界面包括用户登陆模块、用户管理模块、设备管理模块、检测计划配置模块、故障维护模块、故障统计查询模块，实现用户与服务器端的交互。
[0006]客户端通过网关服务器的IIS服务向网关服务器获取中心管理服务器和任务响应服务器的IP地址，通过中心管理服务器获得用户、设备和检测任务的状态，通过任务响应服务器完成检测任务计划的配置、执行和用户、设备数据的获取及修改；中心管理服务器由后台进程管理模块响应外部请求，向服务器后台监视进程请求数据，服务器后台监视进程通过第三方Web服务器的数据库获取用户、设备和检测任务的状态数据。任务响应服务器的检测任务分配模块负责检测任务计划的管理和执行，核心业务服务模块负责管理用户、设备数据和检测故障结果数据。第三方Web服务器的第三方设备接入模块负责获取和修改视频监控设备的数据，算法服务器根据输入数据给出检测结果，数据库负责存储用户、设备、检测计划和检测故障结果的相关数据，统一存储模块负责存储相关的预置位、云台和故障图片数据。
[0007]本发明所提供的视频监控智能检测方法，包括:
[0008]图像质量故障检测方法:针对图像无信号、蓝屏、过亮、过暗和雪花屏故障进行检测，综合图像的一阶直方图熵方法和局部方差平均值方法检测图像故障，通过图像的一阶直方图熵方法，结合图像的灰度均值检测图像无信号、蓝屏、过亮和过暗故障，通过图像的局部方差平均值方法检测图像的雪花屏故障；
[0009]云台和预置位故障检测方法:采用图像差分与归一化互相关图像匹配方法相结合的方法，通过判断两图像是否匹配成功来检测预置位偏离和云台故障；
[0010]录像故障检测方法:通过分析录像文件的录像总时长、空白文件时长和录像停录时间检测视频监控设备是否存在录像时长过短、存在空白文件和录像停录故障；
[0011]设备故障检测方法:通过分析视频监控设备的当前显示时间、设备连接时间、硬盘状态和地址码状态检测视频监控设备是否存在设备故障。
[0012]本发明针对现有视频监控设备分散部署的实际情况，采用基于网络服务(WebService)平台的方式实施了各个模块之间的连接和数据交换。主体由服务器和客户端构成，服务器管理用户、设备等数据的采集、处理、交换和存储，客户端为用户提供交互界面，以实现用户与服务器间进行交互。主服务器即任务响应服务器通过各个服务器的网关，实现对各个模块的数据采集和控制指令的发送，其优点在于:(1)使得对各视频监控设备的控制相互独立，对其它视频监控设备的干扰减小；(2)系统可分布式部署，有效避免传统地采用单一服务器的问题，减轻主服务器的负担。客户端可通过网关服务器和中心管理服务器来控制任务响应服务器和第三方服务器的各个模块。系统允许接入的视频监控设备数量大大增加，可多达3000个。(3)在进行图像故障检测时，采用并行方式进行数据计算，有效地提高系统的运算速度和运行、检测效率。
四、【专利附图】
【附图说明】
[0013]图1为系统的结构框图；
[0014]图2为本发明系统的客户端的整体框架图；
[0015]图3为本发明系统的服务器端的整体框架图；
[0016]图4为网关服务器的程序流程图；
[0017]图5为中心管理服务器的程序流程图；
[0018]图6为任务响应服务器的程序流程图；
[0019]图7为第三方设备接入模块的程序流程图；[0020]图8为算法服务器的图像质量检测算法的局部方差平均值(STD)算法和一阶直方图熵(H-E)算法流程图；
[0021]图9为算法服务器的图像质量检测算法的整体流程图；
[0022]图10为算法服务器的云台、预置位故障检测算法流程图；
[0023]图11为算法服务器的录像故障检测算法流程图；
[0024]图12为算法服务器的设备故障检测算法流程图；
[0025]图13为短信服务模块的程序流程图。
五、【具体实施方式】
[0026]本发明系统实施方案通过客户端、服务器和视频监控设备间的数据交换和各服务器间的协调作用，检测视频监控设备的视频图像质量、云台、预置位、录像和设备故障，对视频监控设备进行有效管理，以维护视频监控设备的正常工作。
[0027]本发明系统基于C/S (客户端/服务器)架构设计，服务器端基于IIS网络服务(Web Service)平台和CGI程序实现,可分布式部署。
[0028]图1图示地表示本发明系统的结构框图，视频监控智能检测系统由客户端101和服务器端组成，服务器端由网关服务器102、中心管理服务器105、任务响应服务器108和第三方Web服务器111组成。客户端101用于实现用户与服务器端的交互，服务器端实现用户、视频监控设备、检测任务、检测故障结果的管理。客户端101通过网关服务器102的IIS服务104向网关进程103获取中心管理服务器105和任务响应服务器108的IP地址，通过中心管理服务器105获得用户、设备和检测任务的状态，通过任务响应服务器108完成检测任务计划的配置、执行和用户、设备数据的获取及修改。中心管理服务器由后台进程管理模块107响应外部请求，向服务器后台监视进程106请求数据，服务器后台监视进程106通过第三方Web服务器111的数据库114获取用户、设备和检测任务的状态数据。任务响应服务器108的检测任务分配模块109负责检测任务计划的管理和执行，核心业务服务模块110负责管理用户、设备数据和检测故障结果数据。第三方Web服务器111的第三方设备接入模块112负责获取和修改视频监控设备的数据，算法服务器113根据输入数据给出检测结果，数据库114负责存储用户、设备、检测计划和检测故障结果的相关数据，统一存储模块115负责存储相关的预置位、云台和故障图片数据。
[0029]图2图示地表示本发明系统的客户端的整体框架图，客户端根据功能需求，向用户展示检测相关数据，实现用户与服务器端的交互。客户端由交互界面201和WebService客户端代理213构成，交互界面201是用户与服务器间的交互入口，主要分为以下几个模块:用户登录202、设备管理203、用户管理204、提交检测任务205、检测计划管理206、故障管理模块(207、210、211、212)、设备预览208和网关配置209.交互界面201通过WebService客户端代理213完成与服务器间的数据交换。
[0030]WebService客户端代理模块213通过调用服务器相关模块获取所需数据，返回给交互界面201显示，包括单通道单类型检测任务服务214、设备管理(215、217)、用户管理216、故障管理218和检测计划管理219。
[0031]图3图示地表示本发明系统的服务器端的整体框架图，服务器端实现用户、设备、检测故障数据的管理和检测计划的管理及执行。服务器端包括网关服务器301、中心管理服务器303、任务响应服务器314和第三方Web服务337。网关服务器301用来维护各服务器的IP列表，中心管理服务器303和任务响应服务器314协同作用，并调用第三方Web服务模块337，完成用户、设备、检测故障数据管理和检测任务的执行及管理。
[0032]网关服务器301是CGI程序，由Web服务IP管理模块302组成，用于查询可用服务的IP地址。通过局部维护各服务器的IP列表，根据各外部请求，决定应该返回的IP地址。
[0033]中心管理服务器303主要负责设备冲突控制、用户状态、视频监控设备状态及检测状态的管理和更新，包括服务器后台监视进程304和后台进程管理模块308，后台监视进程304随系统启动，通过创建共享内存来维护整个系统平台资源的运行状态；全局调度检测任务，分配给检测任务分配模块执行局部检测任务列表；包括服务IP配置306、设备冲突控制307、用户在线状态控制308、检测任务全局调度控制309、共享内存管理310。后台进程管理模块308对外提供共享内存访问接口，响应网络请求；包括用户状态管理模块311、设备状态管理模块312和检测任务调度状态管理模块313。
[0034]任务响应服务器314包括检测任务分配模块315、核心业务服务模块320 ;该服务器向客户端提供具体业务服务:用户查询、设备查询、故障查询；向本地中心管理服务器提供算法调用服务，各业务相互分离。
[0035]检测任务分配模块315是CGI程序，负责批量执行检测任务，并将检测结果返回给后台进程管理模块308，同时将检测故障数据返回给核心业务服务模块320 ;检测任务分配模块315包括启动检测任务316、分配检测任务列表317、检测队列线程缓冲池管理318和检测任务局部调度控制319。
[0036]核心业务服务模块320是CGI程序，负责各服务器之间以及客户端、服务器和第三方Web服务之间的数据中转；包括单通道单类型检测任务服务321、用户管理322、故障管理325、检测计划管理326、设备管理(323、324、327)和服务IP管理328。
[0037]第三方Web服务329包括第三方设备接入模块330、算法服务331、数据库服务332、统一存储服务333、GSoap网络传输334和短信服务335，通过调用第三方服务，完成前端视频监控设备数据的获取以及用户、设备和故障数据的存储和传输。第三方设备接入模块330对于不同厂家的视频监控设备前端，将不同的数据转化为系统内部的统一数据。通过分布式提供服务，不同的主机提供不同的平台接入服务，实现设备数据的获取和修改；算法服务331负责根据给定的数据，计算图像质量、云台和预置位检测、录像故障检测和设备故障检测的结果；数据库服务332负责存储用户、设备、故障数据和检测计划数据；统一存储服务333负责存储预置位图像、云台故障图像、预置位故障图像等图片数据；各服务器之间以及服务器和客户端之间的通信通过GSoap网络传输334来实现；短信服务335负责向故障对应的运维人员发送短信，通知运维人员及时对故障设备进行维护。
[0038]图4描述一个网关服务程序的流程图，它说明各个服务器模块向网关服务器请求IP的过程。网关服务程序401从框402开始，首先进入框403响应外部请求，进入框404查询登记的服务器IP列表，找到所请求的服务器的相应IP，将IP返回给请求者；经框406结束。
[0039]图5描述一个中心管理服务程序的流程图，它说明设备、用户、检测任务状态的维护过程。中心管理服务程序501从框502开始，首先进入框503，由后台监视进程从数据库中读取用户数据，创建共享内存来初始化当前用户在线状态；然后进入框504，由后台监视进程从数据库读取设备数据，初始化设备在线状态和设备冲突状态；进入框505由后台监视进程从数据库获取全局的检测计划，初始化当前各个设备的检测状态；当客户端启动检测任务时，由任务响应服务器通知后台进程管理模块启动检测任务，后台进程管理模块向后台监视进程模块请求检测任务，即进入框506响应外部请求，将检测任务通过后台进程管理模块批量地下发给检测任务分配模块；当后台监视进程模块接收到检测任务分配模块返回的检测结果时，进入框508，根据返回的检测结果，更新当前的检测状态和检测计划队列；当客户端请求用户状态数据时，由任务响应服务器向后台进程管理模块发送请求，后台进程管理模块向后台监视进程模块请求用户状态数据，并将获得的用户状态数据通过任务响应服务器返回给客户端；同理，当客户端请求设备状态数据时，由任务响应服务器向后台进程管理模块发送请求，后台进程管理模块向后台监视进程模块请求设备冲突状态数据，并将获得的设备冲突状态数据通过任务响应服务器返回给客户端；同时，当客户端用户、设备状态发生变化时，会通知后台进程管理模块，由后台进程管理模块通知后台监视进程模块更新用户状态和设备冲突状态。
[0040]图6描述一个任务响应服务程序的流程图，它说明用户、设备、故障和检测计划数据的管理过程实现。该流程图由用户管理线程602、设备管理线程603、故障管理线程604和检测计划管理线程605四部分组成。
[0041]用户管理线程602负责管理用户相关数据，包括用户个人信息、登录状态、用户级别等数据。该线程有框606开始，当客户端登录用户时，进入框607进行用户验证，若经验证用户不存在，则进入框608拒绝操作请求，经框612结束；若通过用户验证，则进入框609查询、添加或删除用户信息；通过框610用户数据模块将相应数据库中的用户数据进行修改；然后进入框611由用户在线管理模块通知后台进程管理模块更新用户状态列表；最后，经框612结束。
[0042]设备管理线程603负责管理设备相关数据，包括设备配置、设备隶属、设备详细参数等数据。该线程由框613开始，首先进入框614，验证用户是否修改设备权限，若验证失败，进入框615拒绝操作请求，经框619结束；若验证成功，进入框616添加、删除和修改设备信息；通过框617设备数据模块将相应数据库中的设备数据进行修改；然后进入框618，经检测任务调度控制模块通知后台进程管理模块更新检测任务计划；最后，经框619结束。
[0043]故障管理线程604负责管理故障相关数据，包括历史故障、实时故障、故障维护数据等。该线程经框620开始，首先进入框621响应客户端请求；经框622查询、添加、删除或修改故障信息；通过框623故障数据模块将数据库中相应的故障数据进行修改；经框624通知客户端更新相应的故障数据列表；最后经框625结束。
[0044]检测计划管理线程605负责检测计划配置管理，包括检测类型、检测设备、检测次数、检测时间等数据。该线程经框626开始，首先进入框627进行用户权限验证，若验证失败，进入框628拒绝操作请求；若验证成功，进入框629查询、添加和删除检测计划信息；通过框630由检测计划管理模块将数据库中相应的检测计划数据进行修改；经框631检测任务调度控制模块通知客户端和后台进程管理模块更新检测任务计划；最后，经框632结束。
[0045]图7描述一个第三方设备接入模块的流程图，它说明服务器获取前端视频监控设备的相关信息和向前端设备发送控制指令的过程，这些信息包括设备配置信息、设备详细参数、实时预览、实时画面图像和控制云台指令等。该模块兼容多个设备厂家的SDK。该模块从框702开始，经框703响应任务响应服务器或客户端的请求，进入框704根据厂家类型获取、查询、修改前端设备信息或控制前端设备；最后将相应的设备数据返回给客户端或任务响应服务器，经框705结束。
[0046]图8描述一个图像质量检测算法的流程图，该算法主要针对无视频信号、蓝屏、过暗、过亮和雪花屏这五种图像故障进行检测。图像中将局部不规则的，而宏观有规律的特性称之为纹理。因此，纹理是由一个具有一定的不变性的视觉基元，统称纹理基元，在给定区域内的不同位置上，以不同的形变及不同的方向重复地出现的一种图纹。与正常图像相比，雪花屏图像的纹理比较明显且纹理较多。而图像的方差表示区域灰度的离散程度，一般反应图像纹理的幅度。如式5.1所示，其中u为图像灰度均值。
【权利要求】
1.一种视频监控智能检测系统，其特征在于:系统由服务器端和客户端组成，服务器端包括: 网关服务器，用于查询可用于服务的IP地址； 中心管理服务器，包括服务器后台监视进程和后台进程管理模块， 服务器后台监视进程，随系统启动，通过创建共享内存来维护整个系统平台资源的运行状态，对检测任务全局调度进行控制，实时更新各检测任务的执行状态； 后台进程管理模块，用于对外提供共享内存访问接口，响应网络请求； 任务响应服务器，包括检测任务分配模块和核心业务服务模块， 检测任务分配模块，用于批量执行检测任务，并将检测结果返回； 核心业务服务模块，用于中转各服务器之间以及客户端、服务器之间的数据； 第三方服务器包括第三方设备接入模块、算法服务器、数据库模块、统一存储服务模块、GSoap网络传输模块和短信服务模块， 第三方设备接入模块，用于将不同场景的视频监控设备的数据转化为系统内部的统一数据； 算法服务器，用于根据给定的图像等数据，计算图像质量、云台和预置位故障检测、录像故障检测和设备故障检测的结果； 数据库模块，用于存储用户、摄像头设备、检测故障数据和检测任务计划数据；· 统一存储服务模块，用于存储预置位图像、云台故障图像、预置位故障图像等图片数据； GSoap网络传输模块，用于完成各服务器之间以及服务器和客户端之间的网络通信； 短信服务模块，用于向检测故障对应的运维人员发送短信； 客户端包括: 交互界面，用于向用户展示检测相关数据、用户数据、设备数据和故障数据； 网络服务客户端代理模块，用于响应交互界面，调用服务器相关模块获取数据并返回给交互界面显示； 客户端通过网关服务器的IIS服务向网关服务器获取中心管理服务器和任务响应服务器的IP地址，通过中心管理服务器获得用户、设备和检测任务的状态，通过任务响应服务器完成检测任务计划的配置、执行和用户、设备、故障数据的获取及修改，通过第三方服务器从数据库获取用户、设备、故障数据和检测任务的状态数据，获取和修改前端视频监控设备的信息。
2.如权利要求1所述的系统，其特征在于:系统基于C/S架构设计，服务器端基于IIS网络服务平台和CGI程序实现，可分布式部署。
3.一种视频监控智能检测方法，其特征在于，该方法包括以下故障检测类型: 图像质量故障检测:针对图像无信号、蓝屏、过亮、过暗和雪花屏故障进行检测，综合图像的一阶直方图熵方法和局部方差平均值方法检测图像故障，通过图像的一阶直方图熵方法，结合图像的灰度均值检测图像无信号、蓝屏、过亮和过暗故障，通过图像的局部方差平均值方法检测图像的雪花屏故障； 云台和预置位故障检测:采用图像差分与归一化互相关图像匹配方法相结合的方法，通过判断两图像是否匹配成功来检测预置位偏离和云台故障；录像故障检测:通过分析录像文件的录像总时长、空白文件时长和录像停录时间检测视频监控设备是否存在录像时长过短、存在空白文件和录像停录故障； 设备故障检测:通过分析视频监控设备的当前显示时间、设备连接时间、硬盘状态和地址码状态检测视频监控设备是否存在设备故障。
4.如权利要求3所述的方法，其特征在于，所述图像质量故障检测方法的步骤: 判断得到的图像是否为编码器标志的无信号图像； 若是无信号图像，使用一阶直方图熵方法检测，当得到的熵值B小于阈值thl时，认为是无信号图像； 当得到的熵值B大于等于阈值thl或者图像不是编码器标志的无信号图像时，使用一阶直方图熵方法计算图像的一阶直方图的熵； 若直方图的熵值小于阈值th2，则用局部方差平均值方法计算图像的方差平均值； 若方差平均值T大于阈值th3，则为雪花屏图像，否则为正常图像； 若图像的一阶直方图熵小于阈值th2，则计算图像的灰度均值； 若图像的灰度均值小于阈值th4，则依据具体的灰度均值分为图像过暗或无信号、蓝屏、亮度失衡故障，若灰度均值大于阈值th5，否则为图像过亮故障； 计算图像的局部方差平均值方法的步骤: 转化为灰度图像；` 采用固定大小为nXn的窗口，计算窗口内的方差； 用ηΧη的窗口遍历大小为MXN的图像，取所得到的所有窗口的方差值的均值T ； 当均值T小于预定义阈值Tl时，认为图像为正常图像；否则，认为图像为雪花屏故障图像； 计算图像的一阶直方图熵方法的步骤: 转化为灰度图像； 计算图像的直方图； 计算一阶直方图的熵值B; 当熵值B小于预定义阈值BI时，认为图像为正常图像；否则，认为是故障图像，再依据灰度均值细分为无信号、蓝屏、过亮和过暗故障。
5.如权利要求3所述的方法，其特征在于，所述云台和预置位故障的检测方法的步骤: 读取参考图像和实时图像； 逐个像素相减； 循环遍历图像每个像素点判断每个像素点的像素差值是否大于阈值thl，若大于阈值thl，则将计数器加一； 判断计数器的值是否大于阈值th2，若大于阈值th2，则认为两图差异较大，若为预置位检测，则该差异较大的情况即为预置位故障； 若计数器的值小于等于阈值th2，则根据归一化互相关方法计算互相关矩阵； 判断相关系数是否大于阈值th3，若大于阈值th3，则两图匹配成功，若为云台故障检测，则该匹配成功的情况即为云台故障；若小于等于阈值th3，则进入框1011两图差异较大，若为预置位检测，则该差异较大的情况即为预置位故障； 归一化互相关图像匹配方法的步骤:原图像和匹配图像经过平均值平滑滤波； 按照下式计算归一化互相关矩阵:
6.如权利要求3所述的方法，其特征在于，所述录像故障检测方法的步骤: 将录像文件按照时间顺序进行排序，得到排序后的录像文件列表； 将存在时间包含关系的冗余录像文件删除； 计算录像文件的总的录像时长； 按照每个录像文件的录像时长判断是否存在空白录像文件，若存在录像空白文件，则计算总的空白文件时长； 遍历录像文件，找到录像文件的停录时间； 若空白文件总时长大于预定义阈值1，则存在空白文件； 若总录像时长小于预定义阈值2，则为存在录像时长过短的故障； 若当前时间和停录时间的差值大于预定义阈值3，则为录像停录故障。
7.如权利要求3所述的方法，其特征在于，所述设备故障检测方法的步骤: 获取视频监控设备的当前时间，与系统的当前时间进行比较，校验设备的时间显示是否正常； 获取设备的连接时间，判断设备的连接时间是否超时； 获取设备的硬盘信息，包括硬盘个数、硬盘大小和硬盘剩余大小，判断设备的硬盘是否正常； 获取设备的各个摄像头的地址码，判断各摄像头的地址码是否冲突； 判断设备的当前时间、连接时间、硬盘状态、地址码是否均正常；若均正常，则认为设备正常；否则认为设备故障。
【文档编号】H04N17/00GK103856774SQ201410071746
【公开日】2014年6月11日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】张弘, 贾瑞明, 董家泉, 林胜楠, 辛淼, 程飞洋 申请人:北京航科威视光电信息技术有限公司