专利名称：一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法
技术领域：
本发明涉及基于云计算及海量视频检索技术，在多摄像机间跨摄像机进行目标跟 踪的方法及装置。
背景技术：
视频监控作为一种非常有效的安全控制手段，被广泛应用于公共场所和重要设施 等的安保应用中。由于单个摄像机所能监控的范围有限，各种安保应用一般都需要在所关 注的场所架设大量摄像机。例如，各地的“平安城市”项目往往都要在一个城市的公共场所 架设数万到数十万个摄像机。如此大量的摄像机二十四小时不间断地监控，其获得的数据 量远远超过了人力可处理的范围。所以利用计算机进行智能监控就是必然的选择。然而， 现有智能监控技术一般强调对动目标的实时分割、跟踪和检测特定简单事件。由于各摄像 机观测距离、角度以及色平衡、光照可能存在较大差异，现有实时分割、跟踪技术在非重叠 摄像机之间跨摄像机跟踪目标的精度很低，难以在实际应用中获得满意的效果。目前的监 控系统仍然主要依靠人力解决跨摄像机跟踪、回放等问题，但由于视频监控数据过于巨大， 且视频监控对人工智能的要求太高，所以，通过人工检测或回放较复杂的事件非常困难。当 然，由于人力成本昂贵、反应速度低，传统视频安全监控所设想的把所有事件、对象进行实 时检测、跟踪的做法将不具有可行性。
发明内容
基于上述存在的现象，本发明所要解决的技术问题是提供一种人机结合的跟踪方 法和装置，利用海量视频检索技术，采取“人在循环中”的策略，用计算机辅助操作员的方式 解决跨视频录入装置的精确跟踪问题。为解决上述技术问题，本发明提供的技术方案是一种基于云计算及海量视频检索 的多视频录入装置智能联动的装置，其包括视频录入装置，其录入所监视到的视频信息，并将所述视频信息及所述视频录入 装置所在的地理位置信息传送给动目标分割装置；动目标分割装置，其在每帧视频上分割出运动目标视频信息，并将所述运动目标 视频信息传送给动目标跟踪装置；动目标跟踪装置，其进行帧间跟踪，并将每个动目标在所述单个视频录入装置中 的活动串联起来，形成一个时空统一的运动目标视频信息；同时并将所述运动目标视频信 息传送给OCR文字提取装置提取所述动目标的文字信息；动目标特征分析提取装置，其对所述运动目标视频信息进行分析分类并对其进行 视觉特征提取；动目标存储装置，通过将上述每个动目标的类别、视觉特征和文字信息集成为该 运动目标的完整特征信息，经高维索引装置存储到所述动目标存储装置中；
检索装置，其还包括异常事件检测装置，通过所述检索装置将各所述视频录入装 置获得的所述运动目标视频信息关联起来，根据所述异常事件检测装置检测异常事件，并 将所述异常事件存储到所述动目标存储装置中；可视化用户操作界面，结合GIS地理信息和所述运动目标视频信息，把可能的异 常事件可视化地显示给操作员，并根据操作员的反馈，把各所述视频录入装置所监控到的 运动目标视频信息串联起来，提供跨所述视频录入装置的跟踪、回放功能。为解决上述技术问题，本发明还提供了一种基于云计算及海量视频检索的多视频 录入装置智能联动的的方法，其包括如下步骤a、录入所监视到的视频信息及所述视频所在的地理位置信息；b、在所录入的每帧视频上分割出运动目标视频信息；C、针对分割出的所述运动目标视频信息进行帧间跟踪，并将每个运动目标在所述 单个视频录入装置中的活动串联起来，形成一个时空统一的运动目标视频信息；同时并将 所述运动目标视频信息传送给OCR文字提取装置提取所述运动目标的文字信息；d、对所述运动目标视频信息进行分析分类并对其进行视觉特征提取；e、通过将上述每个动目标的类别、提取的视觉特征和文字信息集成为该运动目标 的完整特征信息，经高维索引装置存储到所述动目标存储装置中；f、将各所述视频录入装置获得的所述运动目标视频信息关联起来，根据所述异常 事件检测装置检测异常事件，并将所述异常事件存储到所述动目标存储装置中；g、结合GIS地理信息和所述运动目标视频信息，把可能的异常事件可视化地显示 给操作员，并根据操作员的反馈，把各所述视频录入装置所监控到的运动目标视频信息串 联起来，提供快速准确的跨所述视频录入装置的跟踪、回放功能。本发明基于云计算技术及海量视频检索技术，采取“人在循环中”的策略，用计算 机辅助操作员的方式解决跨视频录入装置的精确跟踪问题。本发明设计了特别的业务流 程，只要求计算机对单个视频录入装置中的目标进行一定精度的跟踪和记录，允许计算机 跟踪有一定的错误率，在需要的时候用操作员人工纠正系统的错误，计算机提供高效的跟 踪辅助工具，从而最终达到高速、高精度的跨摄像机精确跟踪。本发明让计算机和人各自完 成自己擅长的工作，充分利用人和计算机各自的优点来弥补对方的缺点，既解决了计算机 跟踪精度低的问题，又解决了人信息处理速度慢、记忆能力弱和人工成本高昂的问题。
图1本发明的整体装置构成方框2本发明具体实施例的装置结构流程3本发明人特征提取说明4本发明车特征提取说明5本发明其他特征提取说明6本发明可视化用户操作界面示意图
具体实施例方式现在举一较佳实施例并结合附图对本发明进 行具体阐述
本发明基于云计算及海量视频检索的多视频录入装置智能联动的装置，参看图 1 视频录入装置，其录入所监视到的视频信息，并将视频信息及视频录入装置所在的地理位置信息传送给动目标分割装置；该视频录入装置为摄像机；通过动目标分割装置在每帧视频上分割出运动目标视频信息，并将运动目标视频 信息传送给动目标跟踪装置；动目标跟踪装置，其进行帧间跟踪，并将每个运动目标在单个视频录入装置中的 活动串联起来，形成一个时空统一的运动目标视频信息；同时并将运动目标视频信息传送 给OCR文字提取装置提取所述运动目标的文字信息；动目标特征分析提取装置，其对所述运动目标视频信息进行分析分类并对其进行 视觉特征提取；为了针对不同的动目标进行特征分析提取，将动目标特征分析提取装置细 分为动目标粗分类装置、人特征提取装置、车特征提取装置及其他特征提取装置；其他特征 即为除了人和车以外的动目标特征；通过对动目标粗分类后再针对人、车及其其他特征进 行提取；动目标存储装置，通过将上述每个动目标的类别、视觉特征和文字信息集成为该 运动目标的完整特征信息，经高维索引装置存储到所述动目标存储装置中；检索装置，其还包括异常事件检测装置，通过所述检索装置将各所述视频录入装 置获得的所述运动目标视频信息关联起来，根据所述异常事件检测装置检测异常事件，并 将所述异常事件存储到所述动目标存储装置中；可视化用户操作界面，结合GIS地理信息和所述运动目标视频信息，把可能的异 常事件可视化地显示给操作员，并根据操作员的反馈，把各所述视频录入装置所监控到的 运动目标视频信息串联起来，提供跨所述视频录入装置的跟踪、回放功能。为了更好的进行说明，针对图1所述的本发明装置框图再举一实施例，对本发明 进行更详细的阐述，参看图2，视频录入装置为摄像机D2，通过摄像机D2监控区域内所有动 目标的行动，并将所监视到的动目标视频信息以及摄像机所在位置的地理坐标Dl传送给 动目标分割装置Si，通过动目标分割装置Sl在每帧视频上分割出动目标，并将分割出的动 目标信息传送给动目标跟踪装置S2进行帧间跟踪，把每个动目标在单个摄像机中的活动 串联起来，形成一个时空统一的动目标视频数据信息；然后将动目标跟踪装置S2所跟踪到的动目标视频数据信息传递给目标粗分类装 置S4,同时也将其传送给OCR文字提取装置S3提取文字信息，由于很多物体上都可能出现 文字信息(如衣服、行李、车牌等)，而文字是非常有用的关联、检索和描述动目标的最好跟 踪信息，而衣服、行李、车等安全监控中最关注的动目标体上经常会印有文字，如车牌号码、 文字商标等。通过OCR文字提取技术把动目标视频信息上的文字提取出来作为描述动目标 的特征之一可以极大地提高对动目标的标识能力；动目标粗分类装置S4将所接收到的动目标视频信息进行初步分类，将动目标分 类为人、车及其他三类动目标；在安全监控中，最关注的人、车、行李等物体之间具有非常显 著的特征和行为差异，利用相同类型的特征来描述和跟踪所有这些物体显然是低效的，为 了提高跟踪效率及精确性，利用这几类物体之间的显著的差异性，通过利用机器学习技术 可以较为准确地把动目标视频信息中的人、车及其他分类信息检测出来，依据动目标视频信息的初步特征进行分类，然后根据分类分别提取不同的类别特征将极大提供对动目标的 标识能力及跟踪的高效性；为了更好的进行各类别特征提取，再分类后，分别设置有人特征 提取装置、车特征提取装置及其他特征提取装置，分别提取各类别特征；其中人特征提取装置S5提取人这一类别的人特征，参看图3，由于人具有显著的头、躯 干和腿三部分，故首先根据动目标视频信息D5通过身体部件分割S12把目标分割成头D6、 躯干D7和腿D8三部分。而标识人的最好视觉特征是脸，所以把分割出的头部数据送入人脸 特征提取装置S13提取人脸特征，如果目标有较好的人脸信息，则把相应人脸及其特征提 取出来作为目标的特征。当然，在监控视频中往往看不到人脸，所以，还把头D6、躯干D7和 腿D8各部分送入颜色特征提取装置S14，分别提取其颜色直方图来描述其颜色特征。这样， 即使在视频中看不到人脸，也可以用帽子或头发、衣服和裤子的颜色，来滤除大多数不相关 的目标。通过人脸特征提取装置S13和颜色特征提取装置S14可大致提取能够概括人体外 形的用于跟踪识别的人脸特征及头躯干腿的颜色特征；车特征提取装置S6提取车特征，参看图4，被分类为“机动车”的动目标由于除了 颜色的差别，其线条、结构等特征是其主要特征，而SIFT特征由于能够较好地保留这些信 息，所以SIFT特征也被提取出来作为机动车类动目标的特征；根据动目标视频信息D5进 行车颜色特征提取S14和SIFT特征提取S15，提取车类别的颜色特征和SIFT特征；由于车 的类型和型号也是标识机动车非常有用的信息，可以用于排除大量的不相关目标，当然，要 通过视频监控图像识别出机动车的具体型号是非常困难的，所以本发明把机动车分类为客 车、货车、轿车和集装箱车四类，以提高对机动车的标识能力，通过将车特征提取装置S6提 取车特征后再通过车细分类装置S8对车进行细分类，通过车细分类装置S8，可以快速有效 的提高跟踪辨识效率；其他特征提取装置S7提取其他类的特征，参看图5，除人和机动车外，所有其它动 目标被作为同一类物体进行特征提取。在安全监控应用中，该类物体主要是行李、手推车 等，所以，该类物体除了颜色、线条、结构等特征，其形状信息也具有一定价值，所以本发明 对该类物体除了提取其颜色和SIFT特征外，还提取其形状特征作为跟踪特征；根据动目标 视频信息D5对其他类别进行颜色特征提取S14、SIFT特征提取S15及形状特征提取S16， 分别提取其他类别的颜色特征、SIFT特征及其形状特征；通过将上述人、车、其他特征提取装置提取到的动目标的类别、视觉特征信息及其 OCR文字提取装置提取的动目标文字信息集成为该动目标的完整特征信息，经高维索引装 置S9存储到动目标存储装置D3中；
检索装置S10，还包括一异常事件检测装置S11，其可以通过检索装置SlO把不同 摄像机获得的动目标视频信息关联起来，随时检测可能的异常事件，并把检测结果作为相 关动目标的附加属性存储到的动目标存储装置D3中；可视化用户操作界面F1，结合GIS地理坐标信息和动目标信息，把可能的异常事 件可视化地显示给操作员，并根据操作员的反馈，把不同摄像机所监控到的动目标信息串 联起来，提供快速准确的跨摄像机跟踪、回放功能。由于各个摄像机曝光参数、安装位置、光照环境等均有较大差异，以目前的人工智 能和计算机视觉技术要实现精确的全自动跨摄像机动目标跟踪是非常困难的，而且计算量 巨大。有鉴于此，本发明并不试图实现全自动的跨摄像机动目标跟踪，而是采用操作员人工协助的半自动方式。本发明仔细设计工作流程，只在必要的时候让操作员人工干预系统的 跟踪过程，从而达到既不需要太多人工操作又可极大提高跟踪精度的目的。其工作过程如 下 1)平时本发明装置并不进行跨摄像机动目标跟踪计算，而只在单个摄像机中对动 目标进行跟踪，并收集所有动目标及其特征存储于动目标存储装置中，建立良好的索引，以 便后续访问；2)本发明的装置提供丰富的检索手段供操作员检索所有动目标。操作员可根据目 标类型、颜色、其上的文字、人脸以及出现的时间、地点等信息对动目标进行综合检索。一般 来说，当有值得关注的事件发生时，时间、地点会在较为狭窄的范围，甚至可以唯一确定摄 像机乃至动目标。如果返回结果不唯一，操作员可以通过查看更多的相关数据，发现需要跟 踪的起始动目标。3) 一旦操作员确定了跟踪的起始动目标，本发明的装置将利用动目标存储装置中 存储的动目标特征，包括其出现时间、地点等信息，在动目标存储装置中检索前向、后向候 选动目标。4)本发明装置在可视化用户操作界面中央播放A起始动目标的视频画面，并在其 左面和右面分别排列后向B和前向C候选动目标的关键帧。排列位置依据其特征匹配程 度，与起始动目标越匹配的候选排在越中间的位置，如图6所示，然后操作员根据需要选择 一个跟踪方向D，比如按照时间前向或后向，本发明装置即开始按所选择的方向播放相应视 频。在播放过程中，如果操作员发现某个候选动目标是相匹配的，可直接点击相应的关键 帧。于是，本发明装置把正在播放的动目标的关键帧放到最底部，把操作员选择的动目标放 到中央播放，再利用操作员选择的动目标从动目标存储装置中检索新的前向、后向候选动 目标列于两边。操作员继续操作，即可选出连续的匹配动目标，完成整个跟踪过程。一般来说，使用现有的相似性检索技术，5-10个候选动目标在绝大多数情况下都 会包含匹配的动目标，而操作员从5-10个候选动目标中选择一个正确的匹配是比较容易 的，通常只需查看关键帧即可唯一确定。以上工作流程充分结合了计算机和人的各自优点， 可以快速实现精确的动目标跨摄像机跟踪。而且，以上工作流程在平时不需要操作员的干 预，只有在确实需要跨摄像机跟踪动目标的时候才需要操作员的参与，极大地降低了操作 强度和计算复杂度。另外，在使用本发明所提出的工作流程后，如果在单个摄像机中对某个动目标的 跟踪存在间断也不要紧，只要把间断开的动目标作为不同的动目标加入动目标存储装置， 在跟踪过程中，本发明装置将通过特征匹配将其列在候选动目标中让操作员选择。所以，使 用本发明还可以降低对单个摄像机中动目标跟踪精度的要求。在较为复杂的环境下，即使 单个摄像机中动目标跟踪精度也不高。所以目前的动目标跟踪技术难以获得广泛应用。使 用本发明后，由于精度要求降低，可以适应更多的应用环境。由于本发明需要将来自大量摄像机的海量动目标进行集中式索引、存储和检索， 其存储量、计算量都非常巨大，所以常规单机处理的方式是无法实现的。本发明利用云计算 平台来解决这个问题。本发明的云计算平台包括高维索引装置、动目标存储装置、异常事件 检测装置和检索装置等装置，基于这个云计算平台来实现大量存储和计算。利用云平台的 海量分布式存储功能，动目标存储装置可以无须管理数据的一致性、可靠性、并发性、备份等底层问题，只需把动目标及其特征交给云计算平台。高维索引装置、异常事件检测装置和检索装置则可通过云计算接口直接读取动目标特征，并利用云计算平台接口并行处理所有 动目标数据。由于云计算平台保证了数据读写、计算的高并发性，系统将自动获得大规模并 行处理的能力，无须开发专门的并行存储和计算装置。
权利要求
一种基于云计算及海量视频检索的多视频录入装置智能联动的装置，其包括视频录入装置，其录入所监视到的视频信息，并将所述视频信息及所述视频录入装置所在的地理位置信息传送给动目标分割装置；动目标分割装置，其在每帧视频上分割出运动目标视频信息，并将所述运动目标视频信息传送给动目标跟踪装置；动目标跟踪装置，其进行帧间跟踪，并将每个运动目标在所述单个视频录入装置中的活动串联起来，形成一个时空统一的运动目标视频信息；同时并将所述运动目标视频信息传送给OCR文字提取装置提取所述运动目标的文字信息；动目标特征分析提取装置，其对所述运动目标视频信息进行分析分类并对其进行视觉特征提取；动目标存储装置，通过将上述每个动目标的类别、视觉特征和文字信息集成为该运动目标的完整特征信息，经高维索引装置存储到所述动目标存储装置中；检索装置，其还包括异常事件检测装置，通过所述检索装置将各所述视频录入装置获得的所述运动目标视频信息关联起来，根据所述异常事件检测装置检测异常事件，并将所述异常事件存储到所述动目标存储装置中；可视化用户操作界面，结合GIS地理信息和所述运动目标视频信息，把可能的异常事件可视化地显示给操作员，并根据操作员的反馈，把各所述视频录入装置所监控到的运动目标视频信息串联起来，提供跨所述视频录入装置的跟踪、回放功能。
2.根据权利要求1所述的基于云计算及海量视频检索的多视频录入装置智能联动的 装置，其特征在于所述动目标特征分析提取装置包括动目标粗分类装置、人特征提取装置、 车特征提取装置及其他特征提取装置；通过将所述动目标粗分类装置分类后的动目标视频 信息传送给所述人特征提取装置、车特征提取装置及其他特征提取装置分别进行视频特征 信息提取。
3.根据权利要求2所述的基于云计算及海量视频检索的多视频录入装置智能联动的 装置，其特征在于所述车特征提取装置中包括有车细分类装置。
4.根据权利要求1至3任一所述的基于云计算及海量视频检索的多视频录入装置智能 联动的装置，其特征在于所述视频录入装置为摄像机。
5.一种基于云计算及海量视频检索的多视频录入装置智能联动的的方法，其包括如下 步骤a、录入所监视到的视频信息及所述视频所在的地理位置信息；b、在所录入的每帧视频上分割出运动目标视频信息；C、针对分割出的所述运动目标视频信息进行帧间跟踪，并将每个运动目标在所述单个 视频录入装置中的活动串联起来，形成一个时空统一的运动目标视频信息；同时并将所述 运动目标视频信息传送给OCR文字提取装置提取所述运动目标的文字信息；d、对所述运动目标视频信息进行分析分类并对其进行视觉特征提取；e、通过将上述每个动目标的类别、提取的视觉特征和文字信息集成为该运动目标的完 整特征信息，经高维索引装置存储到所述动目标存储装置中；f、将各所述视频录入装置获得的所述运动目标视频信息关联起来，根据所述异常事件 检测装置检测异常事件，并将所述异常事件存储到所述动目标存储装置中；g、结合GIS地理信息和所述运动目标视频信息，把可能的异常事件可视化地显示给操 作员，并根据操作员的反馈，把各所述视频录入装置所监控到的运动目标视频信息串联起 来，提供快速准确的跨所述视频录入装置的跟踪、回放功能。
6.根据权利要求4所述的基于云计算及海量视频检索的多视频录入装置智能联动的 的方法，其特征在于所述第d步骤中视觉特征提取包括分别针对人特征、车特征以及其他 特征的特征提取。
7.根据权利要求5所述的基于云计算及海量视频检索的多视频录入装置智能联动的 的方法，其特征在于所述车特征提取为先根据分类进行车特征提取后再进行车细分类。
8.根据权利要求5至7任一所述的基于云计算及海量视频检索的多视频录入装置智能 联动的方法，其特征在于所述视频录入装置为摄像机。
全文摘要
一种基于云计算及海量视频检索的多视频录入装置智能联动的装置及方法，装置包括视频录入装置、动目标分割跟踪装置、OCR装置、动目标特征提取装置、动目标存储装置、检索装置及可视化用户操作界面。通过录入动目标视频信息及所处地理信息，对动目标进行分割跟踪，然后进行分类提取动目标特征并将其信息进行存储，通过用户检索将异常事件信息显示给用户。采取“人在循环中”的策略，用计算机辅助操作员的方式解决跨视频录入装置的精确跟踪问题，又解决了人信息处理速度慢、记忆能力弱和人工成本高昂的问题。
文档编号H04N5/14GK101848377SQ20101018317
公开日2010年9月29日 申请日期2010年5月26日 优先权日2010年5月26日
发明者周群, 李仲男, 王亮, 王阳, 田维华, 罗迒哉, 诸建庆 申请人:苏州安杰瑞电子科技发展有限公司