一种基于运动物体检测的监控视频摘要提取方法
【专利摘要】本发明公开了一种基于运动物体检测的监控视频摘要提取方法。本发明首先确定ViBe模型的参数，然后用一段视频帧初始化模型，在得到的ViBe背景模型，处理新的视频帧，生成二值背景图像。其次对得到的二值图像进行形态学操作，并在二值图像中得到该帧中的运动物体的位置信息。其次对每个运动物体进行跟踪，保存每个物体的运动序列。对进行运动物体分割，得到物体精细轮廓。最后按照合理的方法，将运动物体的轮廓序列拼接到背景帧中。本发明针对各类监控视频，利用ViBe模型实现了一种简单有效的视频摘要提取方法，在保留关键物体运动信息的基础上，提升了处理效率。
【专利说明】一种基于运动物体检测的监控视频摘要提取方法
【技术领域】
[0001]本发明属于计算机视觉领域，涉及监控视频中视频摘要提取方法。
【背景技术】
[0002]在当今社会，随着国家对社会公共安全的需求逐步增长，随着智慧城市建设的蓬勃发展，大街小巷都装上了高清摄像头，安防行业需要处理的视频量越来越大。当某个地区发生事件时，可以通过录像了解前后经过。有些人烟稀少地区活动物体较少，全天候的监控视频中之有很少几个时间段中会出现物体，保存和查看这种视频就会消耗大量的人力物力，甚至很可能会遗漏重要信息。
[0003]由于以上问题的存在，视频摘要技术成为视频处理领域的一项研究热点。视频摘要技术能在压缩视频长度的同时保留原始视频中的重要信息，极大节省时间和空间。传统的基于关键帧的视频摘要技术计算量大，无法做到实时处理视频。而使用ViBe模型的基于运动物体检测的视频摘要技术，处理效率高，可以在最大限度保留物体运动信息的同时去除视频中的冗余片段。
[0004]ViBe算法是一种基于像素的背景建模与前景检测算法，其运行时间和处理效果都要优于GMM等算法。该算法的主要思想在于随机选择需要替换的像素的样本，随机选择邻域像素进行更新。在无法确定像素变化的模型时，随机的更新策略，在一定程度上可以模拟像素变化的不确定性。
【发明内容】
[0005]本发明针对现有技术的不足，提供了一种基于运动物体检测的监控视频摘要提取方法，包括以下步骤:
I)确定ViBe模型的参数，然后用一段视频帧初始化模型。
[0006]2)用I)中得到的ViBe背景模型，处理新的视频帧，生成二值背景图像。
[0007]3)对2)中得到的二值图像进行形态学操作。
[0008]4)从3)中得到的二值图像中，得到该帧中的运动物体的位置信息。
[0009]5)对4)中每个运动物体进行跟踪，保存每个物体的运动序列。
[0010]6)对进行运动物体分割，得到物体精细轮廓。
[0011]7)按照合理的方法，将6)中的运动物体的轮廓序列拼接到背景帧中。
[0012]所述的监控视频摘要提取方法适用于各类监控视频，针对不同分辨率和不同场景的视频，设定不同的ViBe模型参数。
[0013]所述的监控视频，以高速公路监控视频为例，视频分辨率为320*240像素，帧率是15 FPS，公路占据视频帧的主要部分。
[0014]所述的ViBe模型的参数设定为:背景模型的每个像素点包括20个样本，视频中像素点与背景模型样本集匹配的阈值为50，背景模型像素点的样本的更新频率为1/16，前景点运行存在的最长时间为100帧。
[0015]所述的ViBe模型初始化方法是:对于第一帧的每一个像素点，对它的的八邻域的像素值随机采样20次作为它的模型样本集合，然后使用视频的前20帧迭代更新背景模型，使用的帧数越多，模型越能表达真实的背景，但也可能会漏掉一些物体。
[0016]所述的生成二值背景图的方法是，对于当前视频帧的一个像素点，如果ViBe模型判断它是前景点，就将它像素置为255，否则置为0，用该像素点更新模型样本集和邻居点样本集。更新模型样本集具体是:随机的选取背景模型中的一个样本，用该像素替换；更新邻居点样本集具体是:随机选取8邻域中一个邻居点，然后随机选取该点背景模型中的一个样本，用该像素替换。
[0017]所述的对二值图像形态学操作的方法是:先进行腐蚀操作，消除噪音，然后进行膨胀操作，补充物体内部空洞。
[0018]所述的从二值图像中得到运动物体的位置信息的方法是:使用种子填充法求得前景的最大连通区域，然后取该轮廓的最小包覆矩形作为邻接矩形，该邻接矩形就代表了物体的大小和位置。
[0019]所述的运动物体跟踪的方法是:提取视频帧中邻接矩形所在区域的颜色直方图以及矩形中心坐标作为特征，计算其特征与上一帧中每个矩形框的特征的欧式距离。如果所有距离都大于给定阈值R，则判为新物体，否则该矩形框与上一帧中距离最近的矩形框属于同一物体。记录并保存每个物体出现的帧号、矩形框大小和位置，以及物体编号。
[0020]所述的分割出物体，得到精细轮廓的方法是:用GrabCut算法进行运动物体分害I]，使用物体的外接矩形框初始化GrabCut，矩形框的中心为初始前景，框外为初始背景，GrabCut算法迭代次数是I次。
[0021]所述的构造背景帧的方法是选取视频中序列的前1000帧，求出它们的平均帧作为背景中贞。
[0022]所述的将物体轮廓拼接到背景帧中的方法是:如果不同时间出现在视频中的多个物体轨迹没有重合，就将每个物体的轮廓序列按照在原视频帧中的位置，同时复制到一系列背景帧中。同一个物体在每个背景帧中最多放置一个轮廓。
[0023]本发明针对各类监控视频，利用ViBe模型实现了一种简单有效的视频摘要提取方法，在保留关键物体运动?目息的基础上，提升了处理效率。
【专利附图】
【附图说明】
[0024]图1是本发明一种基于运动物体检测的监控视频摘要提取方法流程图。
[0025]图2a和图2b是ViBe模型生成二值背景过程图。
[0026]图3是视频摘要结果示意图。
【具体实施方式】
[0027]下面结合本发明中的附图，对本发明的技术方案进行清晰、完整地描述。基于本发明的实施例，本领域普通技术人员在没有做创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]本发明提供了一种基于运动物体检测的监控视频摘要提取方法，图1展示了该方法的整体流程。基于运动物体检测的监控视频摘要提取方法具体实施步骤如下: 步骤1，设定ViBe背景模型的参数并初始化模型。背景模型的每个像素点包括20个样本，视频中像素点与背景模型样本集匹配的阈值为50，背景模型像素点的样本的更新频率为1/16，前景点运行存在的最长时间为100帧。对于第一帧的每一个像素点，对它八邻域的像素值随机采样20次作为它的模型样本集合，然后使用视频的前20帧迭代更新背景模型，使用的帧数越多，模型越能表达真实的背景，但也可能会漏掉一些物体。
[0029]步骤2，使用ViBe处理新的视频帧。对于当前视频帧的一个像素点，如果ViBe模型判断它是前景点，就将它的值置为255，否则置为O。二值图像如图2a和图2b所示。
[0030]步骤3，对二值图像形态学操作。先进行腐蚀操作，消除噪音，然后进行膨胀操作，补充物体内部空洞。
[0031]步骤4，提取二值背景图的外接矩形。使用种子填充法求得最大连通区域，然后取该轮廓的最小包覆矩形作为邻接矩形。
[0032]步骤5，运动物体跟踪。提取每个邻接矩形所在区域的颜色直方图以及矩形中心坐标作为特征，计算其特征与上一帧中每个矩形框的特征的欧式距离。如果所有距离都大于给定阈值R，则判为新物体，否则该矩形框与上一帧中距离最近的矩形框属于同一物体。记录并保存每个物体出现的帧号、矩形框大小和位置，以及物体编号。
[0033]步骤6，物体分割。使用GrabCut算法分割物体，用物体的外接矩形框初始化GrabCut，矩形框的中心为初始前景，框外为初始背景，迭代次数是I次。
[0034]步骤7，构造背景帧。选取视频中序列的前1000帧，求出它们的平均帧作为背景帧。
[0035]步骤8，将物体轮廓拼接到背景帧中。如果不同时间出现在视频中的多个物体轨迹没有重合，就将多个物体的轮廓按照在原视频帧中的位置，同时复制到背景帧中。同一个物体在每个背景帧中最多放置一个轮廓。结果图像如图3所示。
[0036]最后，以上所述仅为本发明较有代表性的实施例。本领域的普通技术人员可在不脱离本发明的发明思想情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求数提到的创新性特征的最大范围。
【权利要求】
1.一种基于运动物体检测的监控视频摘要提取方法，其特征在于该方法包括如下步骤: 1)确定ViBe模型的参数，然后用一段视频帧初始化模型； 2)用得到的ViBe背景模型，处理新的视频帧，生成二值背景图像； 3)对得到的二值图像进行形态学操作； 4)从得到的二值图像中，得到该帧中的运动物体的位置信息； 5)对每个运动物体进行跟踪，保存每个物体的运动序列； 6)进行运动物体分割，得到物体精细轮廓； 7)按照合理的方法，将6)中的运动物体的轮廓序列拼接到背景帧中。
2.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:当所述的监控视频为高速公路监控视频时，其视频分辨率为320*240像素，帧率是15FPS,公路占据视频帧的主要部分。
3.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤I)中ViBe模型的参数设定为:背景模型的每个像素点包括20个样本，视频中像素点与背景模型像素点的样本匹配的阈值为50，背景模型像素点的样本的更新频率为1/16，前景点运行存在的最长时间为100帧；初始化ViBe模型具体是:对于第一帧的每一个像素点，对它的八邻域的像素值随机采样20次作为它的模型样本集合，然后使用视频的前20帧迭代更新背景模型，使用的帧数越多，模型越能表达真实的背景。
4.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤2)中生成二值背景图具体是:对于当前视频帧的一个像素点，如果ViBe模型判断它是前景点，就将它像素置为255，否则置为0，用该像素点更新模型样本集和邻居点样本集。
5.根据权利要求4所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:更新模型样本集具体是:随机的选取背景模型中的一个样本，用该像素替换；更新邻居点样本集具体是:随机选取8邻域中一个邻居点，然后随机选取该点背景模型中的一个样本，用该像素替换。
6.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤3)中对二值图像形态学操作具体是:先进行腐蚀操作，消除噪音，然后进行膨胀操作，补充物体内部空洞。
7.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤4)具体是:使用种子填充法求得前景的最大连通区域，然后取该轮廓的最小包覆矩形作为邻接矩形，该邻接矩形就代表了物体的大小和位置。
8.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤5)中对物体跟踪具体是:提取每个邻接矩形所在区域的颜色直方图以及矩形中心坐标作为特征，计算其特征与上一帧中每个矩形框的特征的欧式距离；如果所有距离都大于给定阈值R，则判为新物体，否则该矩形框与上一帧中距离最近的矩形框属于同一物体，记录并保存每个物体出现的帧号、矩形框大小和位置。
9.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤6)具体是:用GrabCut算法进行运动物体分割，使用物体的外接矩形框初始化GrabCut，矩形框的中心为初始前景，框外为初始背景，GrabCut算法迭代次数是I次。
10.根据权利要求1所述的一种基于运动物体检测的监控视频摘要提取方法，其特征在于:步骤7)中所述合理的方法具体是:如果不同时间出现在视频中的多个物体轨迹没有重合，就将每个物体的轮廓序列按照在原视频帧中的位置复制到一系列背景帧中，同一个物体在每个背景帧中最多放置一个轮廓；背景帧的构造具体是:选取视频中序列的前1000帧，求出它们的平均帧作为背景帧。
【文档编号】G06T7/20GK104331905SQ201410606276
【公开日】2015年2月4日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】陈纯, 周星辰, 宋明黎, 卜佳俊, 袁冠红 申请人:浙江大学