专利名称：用于监视系统的目标属性地图的利记博彩app
技术领域：
本发明涉及视频监视。更具体地，本发明的特定实施例涉及一种上下文敏感的基于视频的监视系统。
背景技术：
诸如银行、商店、机场等许多商业和其他设施使用安全系统。在这些系统中有基于视频的系统，其中摄像机之类的感测设备获得并记录其感测区域之内的图像。例如，摄像机会对其镜头视野范围之内的任何内容进行视频记录。这种视频图像可以受到操作员的监视和/或稍后由操作员审查。新近发展也允许这种视频图像受到自动化系统的监视，从而提高检测速率，节省人力资源。
在许多情况下，希望使用诸如快、慢、高、平、宽、窄等相对修饰语来指定目标检测，而无需对这些形容词进行量化。类似地，希望使最新的监视系统适应场景的特征，这是因为当前的系统不能实现这一点，即使相同的系统已经监视相同场景长达多年。
发明内容
本发明的实施例针对于实现自动提取和上下文信息的利用。此外，本发明的实施例提供与运动目标有关的上下文信息。该上下文信息可以用于进行上下文敏感事件检测，可以改善目标检测，改善跟踪和分类，并降低视频监视系统的误警报率。
具体地，根据本发明实施例的视频处理系统可以包括上游视频处理设备，用于接受输入视频序列，并输出与所述输入视频序列中的一个或更多目标有关的信息；以及目标属性地图构造器，与所述上游视频处理设备相连，以接收所述输出信息的至少一部分，并构造至少一个目标属性地图。
在本发明的另一实施例中，一种视频处理方法可以包括对输入视频序列进行处理，以获得目标信息；以及基于所述目标信息，构造至少一个目标属性地图。
此外，本发明可以采用硬件、软件、固件或其组合的形式实现。
定义以下定义可应用于本公开全部内容，包括上述内容。
“视频”表示以模拟和/或数字形式表征的运动画面。视频的示例包括电视、电影、来自摄像机或其他观测器的图像序列、以及计算机产生的图像序列。
“帧”表示视频内的特定图像或其他离散单元。
“对象”表示视频中感兴趣的项。对象的示例包括人物、车辆、动物和物理实体。
“目标”表示对象的计算机模型。目标可以通过图像处理导出，在目标与对象之间存在一对一的对应关系。
“目标实例”或“实例”表示帧中对象的出现(sighting)。
“活动”表示一个或更多对象的一个或更多动作和/或一个或更多的动作合成。活动的示例包括进入；退出；停止；移动；上升；下降；长大；以及收缩。
“位置”表示活动可以发生的空间。例如，位置可以是基于场景或基于图像的。基于场景的位置示例包括公共场所；商店；零售商店；办公室；仓库；旅馆房间；旅馆大厅；建筑物大厅；赌场；公交车站；火车站；机场；港口；公交车；火车；飞机；以及轮船。基于图像的位置示例包括视频图像；视频图像中的线；视频图像中的区域；视频图像的矩形部分；以及视频图像的多边形部分。
“事件”表示参与活动的一个或更多的对象。事件可以参照位置和/或时间。
“计算机”表示能够接受结构化的输入、根据指定规则对该结构化输入进行处理、并产生作为输出的处理结果的任何装置。计算机的示例包括计算机；通用计算机；超级计算机；大型机；超小型计算机；小型计算机；工作站；微型计算机；服务器；交互性电视；计算机和交互性电视的混合；以及模仿计算机和/或软件的专用硬件。计算机可以具有单个处理器或可以并行和/或非并行操作的多个处理器。计算机也可以表示经由用于在计算机之间发送或接收信息的网络而连接在一起的两台或更多的计算机。这种计算机的示例包括通过由网络链接的计算机对信息进行处理的分布式计算机系统。
“计算机可读介质”表示用于存储计算机可访问的数据的任何存储器件。计算机可读介质包括磁硬盘；软盘；光盘，例如CD-ROM和DVD；磁带；存储芯片；以及用于载送计算机可读电子数据的载波，例如用于发送和接收电子邮件或用于访问网络的载波。
“软件”表示对计算机进行操作的指定规则。软件的示例包括软件；代码段；指令；计算机程序；以及编程逻辑。
“计算机系统”表示具有计算机的系统，其中计算机包括具体实现对计算机进行操作的软件的计算机可读介质。
“网络”表示通过通信设施相连的多台计算机和关联的设备。网络包括缆线等永久性连接、或通过电话或其他通信链路等的暂时连接。网络的示例包括网际网，例如因特网；内联网；局域网(LAN)；广域网(WAN)；以及网络的组合，例如网际网和内联网。
“感测设备”表示用于获取视觉信息的任何装置。示例包括彩色和单色照相机、摄像机、闭路电视(CCTV)摄像机、电荷耦合器件(CCD)传感器、模拟和数字摄像机、摄像头、网络摄像机和红外成像设备。如果无更具体的描述，“摄像机”表示任何感测设备。
“团点”一般表示图像中的任何对象(通常在视频上下文中)。团点的示例包括运动对象(例如，人物和车辆)和静止对象(例如，箱包、家具或商店货架上的商品)。
“目标属性地图”是目标属性或目标属性函数与图像位置的映射。通过在每个图像位置对目标属性或一个或更多目标属性的函数进行记录和建模，构造目标属性地图。例如，通过对经过位置(x，y)处像素的所有目标的宽度进行记录，可以获得图像位置(x，y)处的宽度模型。模型可以用于表征该记录并提供统计信息，该统计信息可以包括位置(x，y)处的平均目标宽度、该位置处平均值的标准偏差等。这种模型的集合是每个图像位置一个，称作目标属性地图。
现在结合附图，更加详细地描述本发明的特定实施例，其中图1示出了可以包括本发明实施例的内容分析系统的流程图；图2示出了用于描述根据本发明实施例的目标属性地图的训练的流程图；图3示出了用于描述根据本发明实施例的目标属性地图的使用的流程图；以及图4示出了可以用于实施本发明一些实施例的系统的方框图。
具体实施例方式
本发明可以包括通用监视系统的一部分。图1中示出了可能的实施例。由检测(11)、跟踪(12)和分类(13)模块从视频序列中提取目标属性信息。这些模块可以利用已知或尚待发现的技术。将得到的信息传递至事件检测模块(14)，该事件检测模块(14)将观测的目标属性与在用户(15)看来有威胁性的属性相匹配。例如，用户能够通过使用与系统交互的图形用户界面(GUI)或其他输入/输出(I/O)接口，指定这种威胁性属性。目标属性地图构造器(16)对由上游组件(11)、(12)和(13)提取的数据进行监视和建模，并且可以进一步向这些组件提供信息。数据模型可以基于单个目标属性，或基于一个或更多目标属性的函数。数据模型可以像平均属性值或正态分布模型一样简单。可以基于针对给定目标属性集合而剪裁的算法，产生复杂模型。例如，模型可以测量比率目标尺寸的平方根/目标到摄像机的距离。
训练目标属性地图在使用包括目标属性地图的模型之前，可以基于观测而对该模型进行构造；在可选实施例中，可以预先确定目标属性模型，并将其提供至系统。以下论述针对作为该过程一部分而构造模型的情况，但是对于这种可选实施例，其他过程同等地相关。例如，可以将上下文信息周期性地保存到永久性存储器件中，从而在系统故障之后，可以从永久性存储器件中重载差不多这些上下文信息。该实施例提供来自外部源的初始模型信息(先前保存的)。
在构造模型的本发明实施例中，为了通知模型的有效性，仅在已观测到在统计上有意义的量的数据之后，才将模型标记为“成熟”。对于尚未成熟的模型的查询是得不到回答的。这种策略使系统处于缺省模式，知道该模型已成熟。如图1所示，当模型已成熟时，模型可以提供可以结合到相连的算法组件的决策制定过程中的信息。这种新证据的可用性有助于算法组件做出更好的决策。
不是所有目标或其实例都必须用于训练。收集目标属性的上游组件(11)、(12)和(13)可能失败，将模型与错误数据屏蔽开来是很重要的。用于处理这种问题的一种技术是设计仔细分析目标属性质量的算法。在本发明的其他实施例中，可以使用简单算法，该简单算法在对目标或目标实例的质量有疑问时拒绝它们。后一方法可能延长时间，直到目标属性地图达到成熟。然而，多数视频监视系统用于查看场景的延长时间使该选择比较吸引人。
图2示出了根据本发明实施例、用于构造目标属性地图的算法的流程图。例如，如图1所示，可以采用目标属性地图构造器(16)实现这种算法。该算法可以开始于在步骤201中适当地初始化与目标属性地图的尺寸相对应的阵列(一般而言，可以与图像尺寸相对应)。在步骤202，可以考虑下一目标。这部分过程可以开始于在步骤203中初始化过滤后的目标实例的缓冲器，该缓冲器可以是环形缓冲器。然后，该过程可以前进到步骤204，其中可以处理所考虑目标的下一实例(该实例可以存储在缓冲器中)。在步骤205，确定是否完成目标；如果已考虑了目标的所有实例，则完成了目标。如果完成了目标，则过程可以前进到步骤210(以下将论述)。否则，过程可以前进到步骤206，以确定目标是否较差；如果最新实例揭示出由上游过程进行的目标处理、标记或标识中的严重故障，则确定目标较差。如果是这种情况，则过程可以循环回到步骤202，考虑下一目标。否则，过程可以前进至步骤207，以确定所考虑的特定实例是否是较差的实例；如果最新实例揭示出由上游过程进行的目标处理、标记或标识中有限的不一致性，则确定所考虑的特定实例是较差的实例。如果发现较差实例，则忽略该实例，过程前进到步骤204，考虑下一目标实例。否则，过程可以前进至步骤208，并对过滤后的目标实例的缓冲器进行更新，之后返回步骤204以考虑下一目标实例。
在步骤205之后(如上所述)，该算法可以前进至步骤209，在步骤209，如果有，则确定可以认为哪些目标实例是“成熟”的。根据本发明实施例，如果发现缓冲器为满，则可以将缓冲器中最早的目标实例标记为“成熟”。如果已考虑了目标的所有实例(即，如果完成了目标)，则可以将缓冲器中的所有目标实例标记为“成熟”。
然后，过程可以前进到步骤210，在步骤210，可以在与成熟目标实例相对应的地图位置处，对目标属性地图模型进行更新。在该地图更新之后，在步骤211，过程可以确定每个模型是否是成熟的。具体地，如果针对给定位置的目标实例数目大于成熟所要求的预设实例数目，则可以将该地图位置标记为“成熟”。如上所述，只有成熟位置才可以用于对询问进行处理。
根据图2的本发明实施例的三种可能典型实施方式的不同之处可以是标记为201、206、207和208的算法组件的实施方式。
第一种实施方式可以用于提供针对直接可用目标属性的目标属性地图，例如，直接可用目标属性可以是但不限于宽度、高度、尺寸、运动方向和目标进入/退出区域。这可以通过仅修改步骤208中的缓冲器更新来实现，以处理该实施方式的不同实例。
第二种实施方式可以用于提供针对多个目标属性的函数的目标属性地图，例如，多个目标属性的函数可以是速度(位置的改变/时间的改变)、惯量(位置的改变/目标尺寸)、纵横比(目标宽度/目标高度)、紧致度(目标周长/目标面积)和加速度(位置改变率/时间改变)。在这种情况下，可以修改步骤201(地图初始化)和208，以处理该实施例的不同实例。
第三种实施方式可以用于提供在每个目标自身历史的上下文中对当前目标属性进行建模的目标属性地图。这些地图可以帮助改善上游组件，并可以包括但不限于检测故障地图、跟踪器故障地图和分类故障地图。这种实施方式可以要求改变模块201、206(目标实例过滤)、207(目标过滤)和208，以处理该实施方式的不同实例。
使用目标属性地图以上结合图2所述的算法可以用于构造和保持目标属性地图。但是，目标属性地图也应该能够向系统提供信息，以对于监视系统是有用的。图3示出了根据本发明实施例、用于查询目标属性地图以获得上下文信息的算法的流程图。
图3的算法可以开始于在步骤31中考虑下一目标。然后，可以前进到步骤32，以确定是否已定义了所要求的目标属性。如果还没有，则与目标有关的信息不可用，过程可以循环回到步骤31，考虑下一目标。
如果确定所要求的目标属性地图可用，则在步骤33，该过程可以考虑下一目标实例。在步骤34，如果该实例指示完成了目标，则过程可以循环回到步骤31，考虑下一目标；如果已考虑了当前目标的所有实例，则完成了目标。如果未完成目标，则过程可以前进到步骤35，并可以确定在所考虑的目标实例的位置处的目标属性地图模型是否已成熟。如果还未成熟，则过程可以循环回到步骤33，考虑下一目标实例。否则，过程可以前进到步骤36，对目标上下文进行更新。通过记录目标上下文与由该算法保持的目标属性地图的一致性程度，对目标上下文进行更新。在步骤36之后，该过程可以前进到步骤37，以基于目标的目标属性上下文，确定目标的常态属性。保持每个目标的上下文，以确定目标是否按照与通过目标属性地图模型预测的行为或观测不一致的方式而动作。最后，在步骤37之后，过程可以返回步骤31，考虑下一目标。
如上所述，本发明的一些实施例可以采用机器可读介质上的软件指令形式具体实现。图4中示出了这种实施例。图4的计算机系统包括至少一个处理器42和关联的系统存储器41，例如，该系统存储器41可以存储操作系统软件等。该系统还可以包括附加存储器43，例如，该附加存储器43可以包括用于执行多种应用程序的软件指令。该系统还可以包括一个或更多输入/输出(I/O)设备44，例如(但不限于)，键盘、鼠标、轨迹球、打印机、显示器、网络连接等。本发明可以具体实现为可以存储在系统存储器41或附加存储器43中的软件指令。这种软件指令也可以存储在可通过I/O设备44(例如但不限于软盘驱动)读取的可拆卸或远程介质(例如但不限于紧致盘、软盘等)。此外，也可以经由诸如网络连接等I/O设备44向计算机系统传送软件指令；在这种情况下，可以将包含该软件指令的信号看作机器可读介质。
参照多种实施例详细描述了本发明，对于本领域技术人员，从前述内容中显而易见的是在本发明更广方面，在不背离本发明的情况下，可以进行改变和修改。因此，如所附权利要求所限定的本发明旨在涵盖落入本发明本质精神的所有改变和修改。
权利要求
1.一种视频处理系统，包括上游视频处理设备，用于接受输入视频序列，并输出与所述输入视频序列中的一个或更多目标有关的信息；以及目标属性地图构造器，与所述上游视频处理设备相连，以接收所述输出信息的至少一部分，并构造至少一个目标属性地图。
2.根据权利要求1所述的系统，其中所述上游视频处理设备包括检测设备，用于接收所述输入视频序列；跟踪设备，与所述检测设备的输出相连；以及分类设备，与所述跟踪设备的输出相连，所述分类设备的输出与所述目标属性地图构造器的输入相连。
3.根据权利要求1所述的系统，还包括事件检测设备，连接以接收所述目标属性地图构造器的输出，并输出一个或更多检测到的事件。
4.根据权利要求3所述的系统，还包括事件指定接口，与所述事件检测设备相连，以向所述事件检测设备提供一个或更多感兴趣的事件。
5.根据权利要求4所述的系统，其中所述事件指定接口包括图形用户界面。
6.根据权利要求1所述的系统，其中所述目标属性地图构造器向所述上游视频处理设备提供反馈。
7.根据权利要求1所述的系统，其中所述目标属性地图构造器包括至少一个缓冲器。
8.一种视频处理方法，包括对输入视频序列进行处理，以获得目标信息；以及基于所述目标信息，构造至少一个目标属性地图。
9.根据权利要求8所述的方法，其中所述对输入视频序列进行处理包括检测至少一个目标；跟踪至少一个目标；以及对至少一个目标进行分类。
10.根据权利要求8所述的方法，其中所述构造至少一个目标属性地图包括对于给定目标，考虑所述目标的至少一个实例；过滤所述目标的至少一个实例；以及确定所述目标的至少一个实例是否成熟。
11.根据权利要求10所述的方法，其中所述构造至少一个目标属性地图还包括如果所述目标的至少一个实例成熟，则对与至少一个位置相对应的至少一个地图模型进行更新，在所述至少一个位置处，所述目标的实例是成熟的。
12.根据权利要求11所述的方法，其中所述构造至少一个目标属性地图还包括确定所述至少一个目标属性地图的至少一个模型形成部分是否成熟。
13.根据权利要求8所述的方法，还包括基于所述至少一个目标属性地图，检测至少一个事件。
14.根据权利要求13所述的方法，其中所述检测至少一个事件包括对于给定目标，将所述目标的至少一个属性与所述至少一个目标属性地图的至少一个属性相比较。
15.根据权利要求14所述的方法，其中所述比较包括使用用户定义的比较标准。
16.根据权利要求13所述的方法，还包括获得针对事件检测的至少一个用户定义的标准。
17.一种计算机可读介质，包含指令，当由处理器执行所述指令时，所述指令使所述处理器执行根据权利要求8所述的方法。
18.一种视频处理系统，包括计算机系统；以及根据权利要求17所述的计算机可读介质。
19.一种视频监视系统，包括至少一个摄像机，用于产生输入视频序列；以及根据权利要求18所述的视频处理系统。
全文摘要
可以通过对输入视频序列进行处理，获得目标信息，并基于所述目标信息构造至少一个目标属性地图，来对输入视频序列进行处理。该目标属性地图可以用于检测多种事件，尤其在结合视频监视的情况下。
文档编号H04N7/18GK101065968SQ200580039162
公开日2007年10月31日 申请日期2005年9月22日 优先权日2004年9月24日
发明者尼尔斯·黑林, 泽善·拉希德, 安德鲁·J·肖克, 杰弗里·埃涅尔, 艾伦·J·利普顿, 刘海鹰, 彼得·L·韦奈蒂阿奈尔, 尹卫红, 余立, 余良吟, 张忠 申请人:实物视频影像公司