专利名称：视频中剧烈运动的检测方法及其装置的利记博彩app
技术领域：
本发明涉及视频处理领域，特别涉及视频监控中对剧烈运动的检测技术。
背景技术：
运动目标的检测和跟踪，即是在一段序列图像的每幅图像中找到所感兴趣的运动目标所处的位置，从而达到检测、跟踪、行为分析和识别的目的。目标检测跟踪的理论及其实现已经进行了大量、深入的研究工作，并取得了令人瞩目的成果。但是，已有的目标检测跟踪系统大多受限于特定的应用背景，行为分析和识别算法还有待于进一步研究和深化。中国专利CN 101751678A提供了一种剧烈运动检测方法，主要包括以下步骤获取视频巾贞图像，并对图像做灰度化处理；利用B. k. PHorn> B. G. Schunk提出的光流计算方法计算全局图像的光流矢量；根据光流获取运动矢量，计算能量变化历史图；根据各个像素点方向变化，从能力变化历史图中提取出剧烈运动历史图；将剧烈运动历史图二值图，进行连通域分析，获取各个团块；标示剧烈运动的区域并输出。本发明的发明人发现，该方法在一定程度上可以检测出剧烈运动，但存在以下几个问题I光流算法运算量很大，目前在一般的硬件平台上基本不能实现实时；该方法全局计算光流，运算量很大，不容易推广；2该方法根据单个像素点方向变化生成剧烈运动历史图，很容易存在大噪声干扰，造成误检；3很多实际监控场景，都会存在景深，即目标近大远小的现象，在这种场景中，在远处和近处应用一样的运动熵计算方式，显然不适应，会导致目标在近处很容易误报和远处漏报。所以亟待需要研究出一种鲁棒性好、精确度高、性能稳定和适用性强的运动目标检测跟踪方法。
发明内容
本发明的目的在于提供一种视频中剧烈运动的检测方法及其装置，可以有效地捕捉运动，减少背景和噪声引起的干扰，还大大节省了计算量。为解决上述技术问题，本发明的实施方式提供了一种视频中剧烈运动的检测方法，包括以下步骤在视频帧中检测运动角点；计算运动角点的光流，得到运动角点光流； 根据运动角点光流计算运动熵；根据运动熵判断是否存在剧烈运动。本发明的实施方式还提供了一种视频中剧烈运动的检测装置，包括角点检测单元，用于在视频帧中检测运动角点；光流计算单元,用于计算角点检测单元所得的运动角点的光流，得到运动角点光流；、
熵计算单元，用于根据光流计算单元所得的运动角点光流计算运动熵；运动判断单元，用于根据熵计算单元所得的运动熵判断是否存在剧烈运动。本发明实施方式与现有技术相比，主要区别及其效果在于检测和计算视频帧中的运动角点光流，根据运动角点光流计算运动熵，来判断是否存在剧烈运动。采用运动角点可以有效地捕捉运动，不会被背景上的角点干扰，也可以减少噪声的干扰，另外只需要计算运动角点的光流，不必为一些非运动像素计算光流，大大节省了计算量。进一步地，统计每个运动连通区域中的运动角点光流得到运动熵，可以避免运动连通区域之外的运动角点光流的干扰，使运动熵更为准确。进一步地，检测运动角点时使用帧差法得到前景图，检测运动连通区域时使用背景差法得到前景图，既将背景变化所导致的影响降到最小，又能够防止运动连通区域被不 当地分割，从而使运动熵的计算更为准确。进一步地，在计算运动熵时，将一个运动连通区域中所有的运动角点光流之和除以方向直方图的标准差度量，使得对打架斗殴类运动方向杂乱无章的剧烈运动的检测更为准确。进一步地，在计算运动熵时将每一个运动角点光流与代表其景深的权重相乘，可以使运动熵更准确，防止目标在近处被误报，在远处被漏报。进一步地，根据全局的运动角点光流求方向直方图标准差度量f( e )，如果f ( 0 )超过上门限或低于下门限，则认为是规律运动，结束对当前帧的进一步检测，可以防止将规律运动误认为剧烈运动。进一步地，在排除全局性规律运动之后，如果视频帧中最大运动连通区域的运动熵持续超过预定门限，则判定为存在剧烈运动。这种判定方法有较高的准确性。进一步地，预先对场景进行景深的标定，根据标定结果对运动熵阈值进行修正，可以防止因为不同场景中景深的不同而导致判断的标准差异很大。标准场景下经优化的运动熵阈值可以方便地应用到各种不同的场景。
图I是本发明第一实施方式中视频中剧烈运动的检测方法流程示意图；图2是本发明第二实施方式中视频中剧烈运动的检测方法中的Harris运动角点求取流程示意图；图3是本发明第二实施方式中基于角点光流的剧烈运动并行检测流程示意图；图4是本发明第三实施方式中视频中剧烈运动的检测方法并行检测流程示意图；图5是本发明第五实施方式中视频中剧烈运动的检测装置的系统结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。本发明第一实施方式涉及一种视频中剧烈运动的检测方法。图I是该视频运动的检测方法的流程示意图，包括以下步骤在步骤101中，视频中剧烈运动的检测装置在视频帧中检测运动角点。其中可以通过视频中剧烈运动的检测装置中的角点检测单元在视频帧中进行运动角点检测。视频中剧烈运动的检测装置获取视频图像并处理，可利用背景差法或帧差法检测运动区域生成前景图，对前景图做运动连 通区域分割，其中，可使用背景差法以便较容易地求出运动连通区域，可使用帧差法在帧差图上提取运动角点，即确定物体在视频图像上所显示的边缘拐点的位置点。视频剧烈运动检测方法采用运动角点可以有效且准确地捕捉运动，不会被背景上的角点(或特征点)干扰，也可以减少外部大噪声的干扰，避免误检；另外，不必为视频中所有运动的和一些非运动像素进行全局性运算量大的光流计算，只需要计算视频中运动角点的光流，这样大大节省了计算量，提高了视频现场的响应实时性，且在应用领域里面容易推广。此后进入步骤102，对在步骤101中所检测到的运动角点，视频中剧烈运动的检测装置中的光流计算单元利用相应算法计算光流。角点光流(或角点矢量)即是空间运动物体在观测成像面上的像素运动的量化的瞬时速度。此后进入步骤103，视频中剧烈运动的检测装置中的熵计算单元根据在步骤102中所得到的运动角点的光流统计并计算运动熵。此后进入步骤104，视频中剧烈运动的检测装置中的运动判断单元根据在步骤103中所得到的运动熵判断视频现场是否存在剧烈运动。此外，可以理解，该装置还可增加方向统计单元和排除单元，其中，方向统计单元对每一帧的运动熵进行统计，排除单元利用方向信息剔除规律运动。若持续有无规律的强运动熵输出，则很有可能发生剧烈运动，如打架、斗殴，输出报警信息。若是，则进入步骤105 ;否则，返回步骤101。在步骤105中，视频中剧烈运动的检测装置进行剧烈运动提示，此后结束本流程。优选地，在步骤101检测运动角点时，将相邻视频帧相减得到前景图(可称为“帧差法”)，再从该前景图上提取运动角点。在检测运动连通区域的步骤中，将视频帧与背景相减得到前景图(可称为“背景差法”或“减背景法”)，再对该前景图做运动连通区域分割得到运动连通区域。帧差法的基本原理是在图像序列相邻的两帧或者三帧采用基于像素的时间差分通过阈值化来提取图像中的运动区域。首先，将相邻帧图像对应像素值相减，然后对差分图像二值化。在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为(主观经验)此处为背景像素；如果对应像素值变化很大，可以认为这是有运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。优点相邻两帧的时间间隔很短，用前一帧图像作为后一帧图像的背景模型具备较好的实时性，其背景不积累，更新速度快，算法计算量小。缺点阈值选择相当关键，阈值过低，则不足以抑制背景噪声，容易将其误检测为运动目标；阈值过高，则容易漏检，将有用的运动信息忽略掉了。另外，当运动目标面积较大，颜色一致时，容易在目标内部产生空洞，无法完整地提取运动目标。减背景法是一种有效的运动目标检测算法，其基本思想是背景的参数模型来近似背景图像的像素值，将当前帧与背景模型进行差分比较实现对运动目标区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域则被认为是背景区域。背景减除法必须要有背景图像，并且背景图像要随着光照和外部环境的变化而实时更新，因此背景减除法关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，研究人员已经提出许多背景建模算法，总的来讲可以概括为非回归递推和回归背景算法两类。非回归递推背景建模算法是动态的利用从某一时刻开始到当前时刻的一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型的线性滤波器、Elgammal等提出的利用一段时间的历史数据来计算背景像素密度的非参数模型等。回归算法无需维持保存背景估计帧的缓冲区，它们是通过回归的方式基于输入的每一帧图像来更新某个时刻的背景模型。这类方法包括广泛应用的线性卡尔曼滤波法、Stauffer与Grimson提出的混合高斯模型。 本具体实施方式
中所涉及的视频中剧烈运动的检测方法，是通过检测和计算视频帧中的运动角点光流，根据运动角点光流计算运动熵，来判断是否存在剧烈运动，当存在剧烈运动，必要时，可通过其装置进行剧烈运动的提示。本发明第二实施方式涉及一种视频中剧烈运动的检测方法。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于根据运动角点光流计算运动熵的步骤之前还包括以下步骤在视频帧中检测运动连通区域。其中，在视频帧中检测运动连通区域和运动角点提取可通过视频中剧烈运动的检测装置获取视频图像并处理来实现，具体步骤如下第一步，运动检测。这一步现有技术方案较多，研究较成熟，主要有背景差、帧差以及光流法等三类方法。本文以背景差法为例来阐述本方法，但不限于仅背景差法。假设视频第一帧中无运动目标，作为背景帧，用B(t)表示t时刻的背景；当前帧视频用I(t)表示，则t时刻的运动区域可以表示为F ⑴=I (t) -B (t)(I)在获得运动图像F(t)后，对F(t)进行二值化，得到运动二值图，然后在二值图上做连通域分析，得到运动连通区域，运动连通区域记为Blob。第二步，运动角点提取。首先，由两帧图像获取帧差图像，然后对帧差图像做二值化处理，在帧差二值图上求取角点。帧差图像D(t)表示为D(t) =I (t)-I (t-1)(2)角点是指物体在图像上所显示的边缘拐点的位置点。常用的角点提取算子有Harris 等提出的 Harris 算子，David G. Lowe 提出的 SIFT (Scale Invariant FeatureTransform,尺度不变特征变换)算子，Smith提出的SUSAN算子。在剧烈运动检测算法中，希望角点提取算子计算简单、计算速度快，而C. Harris和M. J. Stephens于1988年提出的一种特征点提取算子-Harris算子具有这样的特性，且提取出来的角点在图像上具有大的梯度数值和梯度方向变化率。harris算子提取得到的角点称为Harris角点。Harris角点定义从局部互相关函数E (u，V)开始，SP
权利要求
1.一种视频中剧烈运动的检测方法，其特征在于，包括以下步骤 在视频巾贞中检测运动角点； 计算所述运动角点的光流，得到运动角点光流； 根据所述运动角点光流计算运动熵； 根据所述运动熵判断是否存在剧烈运动。
2.根据权利要求I所述的视频中剧烈运动的检测方法，其特征在于，所述根据运动角点光流计算运动熵的步骤之前还包括以下步骤 在所述视频帧中检测运动连通区域； 在所述根据运动角点光流计算运动熵的步骤中， 对于每一个运动连通区域，统计该运动连通区域中的所有运动角点光流，求得该运动连通区域的运动熵。
3.根据权利要求2所述的视频中剧烈运动的检测方法，其特征在于，在所述检测运动角点中步骤中，将相邻视频帧相减得到前景图，再从该前景图上提取运动角点； 在所述检测运动连通区域的步骤中，将视频帧与背景相减得到前景图，再对该前景图做运动连通区域分割得到运动连通区域。
4.根据权利要求2所述的视频中剧烈运动的检测方法，其特征在于，所述统计运动连通区域中的所有运动角点光流，求得该运动连通区域的运动熵的步骤通过以下方式统计
5.根据权利要求4所述的视频中剧烈运动的检测方法，其特征在于，所述统计运动连通区域中的所有运动角点光流，求得该运动连通区域的运动熵的步骤通过以下方式统计
6.根据权利要求4或5所述的视频中剧烈运动的检测方法，其特征在于，在所述根据运动角点光流计算运动熵的步骤之前，还包括以下步骤 根据视频帧中所有运动角点光流计算方向直方图的标准差度量f( Θ )，并判断f ( Θ )是否在预先设定的上门限和下门限之间，如果是，则执行所述根据运动角点光流计算运动熵的步骤，否则将该视频帧判定为没有剧烈运动； 其中上门限大于下门限。
7.根据权利要求6所述的视频中剧烈运动的检测方法，其特征在于，所述根据视频帧中所有运动角点光流计算f ( Θ )的步骤包括以下子步骤根据各所述运动角点光流计算每个运动角点的运动方向； 对所述运动方向根据预先设定的多个角度区间进行量化，得到方向直方图； 根据方向直方图中各个角度区间的量化值求标准差，得到方向直方图的标准差度量f(0)o
8.根据权利要求6所述的视频中剧烈运动的检测方法，其特征在于，所述根据运动熵判断是否存在剧烈运动的步骤包括以下子步骤 将每一个视频帧中最大的运动连通区域的运动熵与预先设定的运动熵阈值相比较，并对大于该运动熵阈值的视频帧进行统计； 如果在连续的X个视频帧中，大于所述运动熵阈值的视频帧的数目大于Y，则判定为存在剧烈运动，其中Y是预先设定的门限，X大于或等于Y。
9.根据权利要求8所述的视频中剧烈运动的检测方法，其特征在于，还包括在剧烈运动的检测之前预先执行的以下步骤 对当前场景的景深进行标定，得到当前场景中指定位置景深相对于标准场景中相应位置景深的比例系数，再将该比例系数乘以标准场景的运动熵阈值，作为当前场景的运动熵阈值。
10.一种视频中剧烈运动的检测装置，其特征在于，包括 角点检测单元，用于在视频帧中检测运动角点； 光流计算单元，用于计算所述角点检测单元所得的运动角点的光流，得到运动角点光流； 熵计算单元，用于根据所述光流计算单元所得的运动角点光流计算运动熵； 运动判断单元，用于根据所述熵计算单元所得的运动熵判断是否存在剧烈运动。
11.根据权利要求10所述的视频中剧烈运动的检测装置，其特征在于，区域检测单元，用于在所述视频帧中检测运动连通区域； 所述熵计算单元计算运动熵时，对于所述区域检测单元检测到的每一个运动连通区域，统计该运动连通区域中的所有运动角点光流，求得该运动连通区域的运动熵。
12.根据权利要求11所述的视频中剧烈运动的检测装置，其特征在于，所述熵计算单元通过以下方式统计运动连通区域中的所有运动角点光流，f \ s: S ^ /m ^ p(i)eBlob j 其中S为运动熵，Blob为运动连通区域，p(i)为视频帧中的运动角点，ViS p(i)对应的运动角点光流，f(9)为方向直方图的标准差度量，表示Blob内所有运动角点的方向直方图的方向一致性度量。
13.根据权利要求11所述的视频中剧烈运动的检测装置，其特征在于，所述熵计算单元通过以下方式统计运动连通区域中的所有运动角点光流，f \ S= E /則 其中S为运动熵，Blob为运动连通区域，p(i)为视频巾贞中的运动角点，COi为p(i)的景深权重，ViSp(I)对应的运动角点光流，f(9)为方向直方图的标准差度量，表示Blob内所有运动角点的方向直方图的方向一致性度量。
14.根据权利要求12或13所述的视频中剧烈运动的检测装置，其特征在于，还包括， 方向统计单元，用于根据视频帧中所有运动角点光流计算方向直方图的标准差度量f ( 0 ); 排除单元，用于判断所述方向统计单元所得的f ( 6 )是否在预先设定的上门限和下门限之间，如果是，则允许所述熵计算单元计算运动熵，否则禁止所述熵计算单元计算运动熵并将该视频帧判定为没有剧烈运动； 其中上门限大于下门限。
15.根据权利要求14所述的视频中剧烈运动的检测装置，其特征在于，所述运动判断单元通过以下方式进行判断 将每一个视频帧中最大的运动连通区域的运动熵与预先设定的运动熵阈值相比较，并对大于该运动熵阈值的视频帧进行统计； 如果在连续的X个视频帧中，大于所述运动熵阈值的视频帧的数目大于Y，则输出表示存在剧烈运动的信号，其中Y是预先设定的门限，X大于或等于Y。
全文摘要
本发明涉及视频处理领域，公开了一种视频中剧烈运动的检测方法及其装置。本发明中，检测和计算视频帧中的运动角点光流，根据运动角点光流计算运动熵，来判断是否存在剧烈运动。采用运动角点可以有效地捕捉运动，不会被背景上的角点干扰，也可以减少噪声的干扰，另外只需要计算运动角点的光流，不必为一些非运动像素计算光流，大大节省了计算量。对于每一个运动连通区域，统计该运动连通区域中的所有运动角点光流，求得该运动连通区域的运动熵，据此进行是否剧烈运动的判断。
文档编号G06K9/00GK102708571SQ201110173948
公开日2012年10月3日 申请日期2011年6月24日 优先权日2011年6月24日
发明者任烨, 童俊艳, 车军 申请人:杭州海康威视软件有限公司