专利名称：基于改进的社会力模型的异常集群行为检测方法
技术领域：
本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于改进的社会力模型的异常集群行为检测方法。
背景技术：
随着世界人口的快速增长和社会安全意识的提高，越来越多的学者开始关注集群行为的研究。在视频监控领域中，计算机视觉研究人员对集群行为分析的方法可以归纳为三类一类是传统的，基于对象的研究，也就是将群体看做是有个人组成的；另一类是采用整体布局的思想，将人群看做是一个统一的整体。在第一类研究方法中，由于其关注个体， 实现过程一般需要对目标进行分割、检测，计算复杂度较高，而且目标的检测和轨迹跟踪往往受到高密集度和严重遮挡的影响，在实际场景复杂的情况下效果并不好。第二类研究方法主要从整体出发，不关注个人行为，对整体的人群布局，整体场景建模，以获得群体特征， 实现过程较第一类方法更加简单，在高密集度和遮挡严重的实际场景中结果也更加准确； 第三类方法出现在2008年，将以上两种方法做了有效的结合，既考虑个人行为，又考虑整个场景布局进行整体特征的提取，更有针对性的解决了密集人群中个人行为分析的问题， 是今后集群分析领域的趋势。经对现有技术文献的检索发现，Ramin Mehran等人在2009年《IEEE InternationalConference on Computer Vision and Pattern Recognition〉〉(IEEE机器视觉禾口模式识另1J 国际会议)上发表的"Abnormal crowd behavior detection using social force model”(用社会力模型检测异常集群行为)提出了用社会力模型描述集群行为的方法，该方法用光流法跟踪均勻分布在视频范围内的粒子，运用社会力模型间接计算社会力的方法将粒子的速度场转换为行人间的社会力，避免了行人目标的检测、分割和跟踪等复杂过程，因此计算量大大减小且更易实现。该模型是一种结合了社会心理学和物理力学描述人群中行人行为的模型。该模型本身表示的是因群体中的个体间相互作用力而表现出的群体行为特征，属于上述三种方法的第三类，因此是简洁而高效的，相比现有方法更适用于高密集度，严重遮挡的场景。另外，该方法采用k-means算法，对得到的社会力聚类得到码书，并用“Bag of Words”方法统计每段视频中码书中关键词出现的频率。最后用“Latent Dirichlet allocation”(隐Dirichlet分布)法对视频进行分类。由于该方法需要统计整个视频帧中的社会力分布，因此只能判断视频帧的异常与正常，不能对异常事件进行准确的定位，因此存在很大的局限性。另外，该方法直接表示行人受到的总的作用力和行人对自己的作用力，通过两者的差值间接计算行人间的相互作用力，也就是社会力，计算结果并不理想，因此需要进一步挖掘出能够更好的利用社会力模型表述行人受到的作用力的方法。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于改进的社会力模型的异常集群行为检测方法，用于解决复杂高密集度场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好的描述行人间的相互作用力，即行人受到的社会力。 用光流法跟踪均勻分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块中行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定性的级别，并视不稳定性高的矩形块为异常块，既能够检测异常行为又能通过矩形块对异常行为进行了准确的定位。本发明是通过以下技术方案实现的，本发明包括以下几个步骤第一步、从视频序列中得到背景图像，用背景减除法提取前景图像，然后进行分块及粒子提取并实时更新背景图像。所述的背景减除法是指提取视频序列的第一帧作为初始背景BtlU, y)，通过k帧更新得到较准确的背景图像为&&，y)，第k帧原始图像为Ik(x，y)读入，通过背景减除法得到前景图像 Fk(x，y) = Ik(X，y)_Bk(X，y)。所述的背景更新是指背景图像根据当前输入图像Ik(χ，y)和前一帧背景图像 Bk^1(Xjy)的加权和不断更新，具体表示如下，其中α为背景更新速率Bk (x, y) = (1- α ) Bk^1+ α Ik (χ, y)所述的分块及粒子提取包括以下步骤1.1)在视频图像大小为mXn的范围内每隔M个像素放置一个粒子Pi'，并将视频帧分割为固定大小为RwXK的矩形块Ib/ }，其中M = 5 10，i' e (1，N' ),N'为总的粒子数，Γ e (Ι,Βη' ),Bn'为总的矩形块个数。所述的放置是指标记视频范围内感兴趣的像素点，即需要跟踪的像素点。所述的粒子是指视频范围内感兴趣的像素点，即需要跟踪的像素点Pi'= Pi' (Xi' ,Ii' ),Xi' ,Ii'分别为该粒子所处的横纵坐标位置。1.2)提取出包含前景像素的矩形块IbJ和以及位于前景像素的粒子Pi，其中， Ie (1，&ι)，&ι为包含前景像素的矩形块个数，且&ι<&ι'，ie (1，N)，N位于前景图像的粒子个数，N < N'。所述的提取是指舍弃位于背景图像像素范围内的矩形块和粒子，标记位于前景像素中的矩形块和粒子，即判断粒子Pi是否属于前景像素，若属于则认为Pi位于前景像素， 对于矩形块h则判断其是否包含前景像素，若包含BP%以上前景像素则认为bi包含前景像素，其中BP = 10。所述的前景像素的判断基准为第k帧内任一像素Pixel(Ui)在前景图像Ik(x， y)氛围内，即判断pixel (Xi，Yi) e Ik(χ, y)是否成立，若成立则属于前景像素；反之，则不属于。第二步、用光流法跟踪视频序列中位于前景像素的粒子Pi，由两帧间的粒子位移计算出粒子的速度场V(Xi，JiY，利用粒子位移约束条件排除噪声点和跟踪错误的影响得到VO^yi)'，再根据场景的不同对求得的速度场V(Xi，归一化，得到实际V(Xi，yi)， 其中(Xi, Yi)表示第i个粒子的横纵坐标，i e (1，N')。所述的光流法是指lucas-Kanade光流算法，一种基于局部平滑性约束来求解的两帧差分的光流估计算法，是在相邻图像之间的时间间隔很小并且图像中灰度变化很小的假设下提出的，为减缓该假设条件带来的不利后果，采用了金字塔方法来降低图像的分辨率。
6
所述的速度场的具体计算公式为对于任意粒子Pi由光流法可得其在前后两帧的不同位置，分别为(Xi，yi)和Ui'，y/ )，其中Xi，Yi为粒子Pi在前一帧物理位置的横纵坐标，χ/ ,Ii'为粒子Pi在后一帧物理位置的横纵坐标，Vx = Xi' -Xi5Vy = Yi' -Yi, Vx, Vy分别为速度场V(Xi，yi)〃的横纵坐标分量V(Xi，yi)〃 = (Vx，Vy)。所述的粒子位移约束条件是指根据对视频场景的先验知识，约束粒子位移的最小值和最大值，设定最小值为Vmin，最大值为Vmax，并记粒子实际位移为V (Xi, Yi)，当位移小于最小值则为噪声点；当位移大于最大值则为跟踪错误得点
^011 Jnu)’ = 0，V(Xnyi)-KVrrin or V(Xnyi)^Vrrmii< 。 1厂( ，只)’=厂( 只)"，Vrr^ KVix^yiYKVmwi所述的归一化是指由于行人运动速度随场景深度增大的带来的损失正比于行人身高随场景深度增大的带来的损失，因此h=其中Atl为行人在视频中深度最大位置，即离摄像头最远身高，y为场景深度，h为行人在视频中不同场景深度观测到的身高，β值通过以下方式得到选取同一视频场景中P个不同的行人，记录他们在不同场景深
F(x.,v.) Jtn 1
度y对应的身高h，用最小二乘法拟合曲线得到β的值，则有^ V=T = ^-T，实际
权利要求
1.一种基于改进的社会力模型的异常集群行为检测方法，其特征在于，包括以下几个步骤第一步、从视频序列中得到背景图像，用背景减除法提取前景图像，然后进行分块及粒子提取并实时更新背景图像；第二步、用光流法跟踪视频序列中位于前景像素的粒子P”由两帧间的粒子位移计算出粒子的速度场V(Xi，Yi)“，利用粒子位移约束条件排除噪声点和跟踪错误的影响得到 V(Xi, Yi)'，再根据场景的不同对求得的速度场V(Xi，yiv归一化，得到实际V(Xi，yi)，其中(Xi，Yi)表示第i个粒子的横纵坐标，i e (1，N')；第三步、根据改进的社会力模型计算每个粒子处的受到的相互社会力的大小F(Xi，yi)， 分别统计每个矩形块1^中V(Xi，yi)禾PF(Xi，yi)的均值(巧,巧)，其中i e bi;l e (Ι,Βη)；第四步、对训练视频序列的BN个前景矩形块IbJ，用K-means算法对巧,巧聚类，类别个数为K，聚类结果为丨巧，&丨,将{&，&}分别由小到大排列以表示人群不稳定性由低到高，其中1 e (1，BN)，k e (Ι,Κ)；第五步、将K类聚类结果丨巧，^丨用阈值T划分为C个不同的人群不稳定程度，测试视频序列的每个前景矩形块{bt}的(I巧)与K类聚类结果进行匹配，将具有高度不稳定性的区域视为异常事件发生区域；第六步、根据前景矩形块不稳定性程度的统计特性，判断关键帧是否为异常帧，即检测异常帧。
2.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的背景减除法是指提取视频序列的第一帧作为初始背景BtlU, y)，通过k帧更新得到较准确的背景图像为Bk(X，y)，第k帧原始图像为Ik(x，y)读入，通过背景减除法得到前景图像 Fk(x，y) = Ik(X，y)_Bk(X，y)。
3.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的背景更新是指背景图像根据当前输入图像IkU，y)和前一帧背景图像Ux， y)的加权和不断更新，具体表示如下，其中α为背景更新速率Bk(X，y) = (1-α) Bh+α Ik (χ, y)。
4.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的分块及粒子提取包括以下步骤1.1)在视频图像大小为mXn的范围内每隔M个像素放置一个粒子Pi'，并将视频帧分割为固定大小为RwXI^h的矩形块Ib1' }，其中M = 5 10，i' e (1，N' ),N'为总的粒子数，1' e (Ι,Βη' ),Bn'为总的矩形块个数；1.2)提取出包含前景像素的矩形块IbJ和以及位于前景像素的粒子Pi，其中， Ie (1，&ι)，&ι为包含前景像素的矩形块个数，且&ι<&ι'，ie (1，N)，N位于前景图像的粒子个数，N < N'。
5.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的提取是指舍弃位于背景图像像素范围内的矩形块和粒子，标记位于前景像素中的矩形块和粒子，即判断粒子Pi是否属于前景像素，若属于则认为Pi位于前景像素，对于矩形块h则判断其是否包含前景像素，若包含BP%以上前景像素则认为ID1包含前景像素， 其中BP = ο ；其中前景像素的判断基准为第k帧内任一像素pixel (xi Yi)在前景图像 Ik(x，y)氛围内，即判断pixel(Xi，yi) e Ik(χ, y)是否成立，若成立则属于前景像素；反之， 则不属于。
6.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的速度场的具体计算公式为对于任意粒子Pi由光流法可得其在前后两帧的不同位置，分别为(Xyyi)和(Xi' ,Ii')，其中Xi，yi为粒子Pi在前一帧物理位置的横纵坐标， Xi' ,Ii'为粒子Pi在后一帧物理位置的横纵坐标，Vx = Xi' -XijVy = Yi' -yi，vx，vy分别为速度场v(Xi，yi)〃的横纵坐标分量v(Xi，yi)〃 = (vx，vy)。
7.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的粒子位移约束条件是指根据对视频场景的先验知识，约束粒子位移的最小值和最大值，设定最小值为Vmin，最大值为Vmax，并记粒子实际位移为V (Xi, Yi)，当位移小于最小值则为噪声点；当位移大于最大值则为跟踪错误得点
8.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的归一化是指由于行人运动速度随场景深度增大的带来的损失正比于行人身高随场景深度增大的带来的损失，因此h =其中为行人在视频中深度最大位置，即离摄像头最远身高，y为场景深度，h为行人在视频中不同场景深度观测到的身高，β 值通过以下方式得到选取同一视频场景中P个不同的行人，记录他们在不同场景深度y对应的身高h，用最小二乘法拟合曲线得到β的值，则有二(w'、),=冬=^T，实际速度
9.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征 是，所述的改进的社会力模型是指
10.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，第三步中，所述的社会力大小F(Xi，yi)通过以下方式计算得到·3. 1)对位于前景像素的粒子Pi，得到其物理位置为(Xi，yi)，速度为Vi = V (xi; Yi)= (Vx,Vy),Vx和Vy分别为X和y轴的速度分量，设定影响粒子Pi的范围为WXW的窗口，超出窗口范围的粒子视为对粒子Pi无影响，遍历所有在以PiS中心，WXW窗口范围内的位于前景像素的粒子Pj;·3. 2)计算每个粒子Pj和Pi间相互作用力IT ；·3. 3)计算所有粒子P」和Pi间相互作用力的总和
全文摘要
一种视频图像处理技术领域的基于改进的社会力模型的异常集群行为检测方法，用于解决复杂高密集度场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好的描述行人间的相互作用力，即行人受到的社会力。用光流法跟踪均匀分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块中行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定性的级别，并视不稳定性高的矩形块为异常块，既能够检测异常行为又能通过矩形块对异常行为进行了准确的定位。
文档编号G06T7/20GK102156880SQ20111009046
公开日2011年8月17日 申请日期2011年4月11日 优先权日2011年4月11日
发明者徐奕, 杨小康, 赵婧 申请人:上海交通大学