一种耦合目标检测与数据关联的实时在线多目标跟踪方法
【技术领域】
[0001 ]本发明涉及一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于快速 定位视频中感兴趣的目标，并实时恢复其运动轨迹，属于计算机视觉和视频监控技术领域。
【背景技术】
[0002] 视觉多目标跟踪是计算机视觉领域许多高层视觉任务的重要基础技术，如场景理 解、事件检测、行为识别等，在视频监控、人机交互、辅助驾驶等系统有广泛的应用。基于检 测的多目标跟踪方法是视觉多目标跟踪的主流方法之一，其思路是使用目标检测器在视频 的每一帧图像中获取检测结果，然后采用数据关联的方式将检测结果关联成完整的目标轨 迹。
[0003] 根据处理视频数据的方式不同，基于检测的多目标跟踪方法可分为在线和离线两 大类。在线方法是逐帧地处理视频数据，每一时刻的数据关联发生在现有目标轨迹和新获 取的检测结果之间。离线方法是对一个视频段或整个视频同时进行处理，利用多个时刻的 检测结果进行全局的数据关联，寻求最优的目标轨迹。离线方法同时考虑了多帧数据，因此 对检测结果出现误检、漏检的情况不敏感。离线方法在实际应用中存在的问题主要是优化 过程耗时，计算效率低，而且不能直接用于在线获取和处理视频数据场合，如最常见的智能 监控摄像机或智能体育摄像机的视频流。相比之下，在线方法更符合实时在线实际应用的 要求，但其性能很大程度上受限于目标检测的结果。场景中复杂背景、目标之间近距离交 互、光照变化、频繁遮挡等因素都容易引起检测结果的不准确，进而影响跟踪的精度。本发 明建立目标检测与数据关联之间的紧密联系，突破了目前已有技术受到目标检测性能的限 制，实现高效、鲁棒的在线多目标跟踪。
【发明内容】
[0004] 本发明设计了一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于实 时在线跟踪视频中多个感兴趣的目标。本发明包含如下步骤：
[0005] 步骤一:对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检 测器输出的中间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为 "正"的检测窗口，用一系列矩形区域表示。
[0006] 步骤二:从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数 据，使用最大后验估计寻找最优的目标检测结果；
[0007] 步骤三:根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果 之间关于数据关联的后验概率；
[0008] 步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻 找整体关联代价最小的数据关联；
[0009] 步骤五:根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标 出现和已有目标消失的情况;若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤 波器(Kalman Filter)对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中， 并更新轨迹的置信度;若该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检 测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果 加入该目标的轨迹中，并更新轨迹的置信度;另外，若一个目标在长时间内持续没有获得关 联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除;若有检测结果长时 间未与已有目标获得关联，则使用匈牙利算法进行数据关联，形成轨迹片段，若形成较长的 轨迹片段，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予 一个初始置信度;判断跟踪是否结束，若不是则转步骤一继续下一视频帧的跟踪。
[0010] 有益效果：
[0011] 本发明与已有多目标跟踪方法相比，具有以下有益效果：
[0012] 1、本发明通过引入序贯轨迹先验，从目标检测器提供的中间结果出发，在跟踪过 程中同时优化了目标检测结果，能有效缓解目标检测器检测结果不精确的问题；
[0013] 2、本发明采用最大后验估计的概率框架计算目标和检测结果之间的关联代价，提 高了数据关联的准确性，能有效处理目标之间的相互干扰;是传统方法的一种突破。
[0014] 3、本发明在目标检测和数据关联之间建立了紧密的联系，使得两者成为两个相互 促进的过程，提高了多目标跟踪的性能。
【附图说明】
[0015] 图1是本发明提出的序贯轨迹先验的示意图；
[0016]图2是本发明的多目标跟踪方法的流程图。
【具体实施方式】
[0017] 本发明主要设计一种耦合目标检测和数据关联的实时在线多目标跟踪方法。通过 从已有目标轨迹包含的历史信息中提取了一种序贯轨迹先验，同时作用于目标检测和数据 关联这两个关键任务，并在两者之间建立了紧密的联系，进而大大提尚了多目标跟踪的性 能。
[0018] 本发明将目标检测器输出的中间结果作为观测数据，在跟踪过程中通过最大后验 估计获得针对多目标跟踪任务最优的目标检测结果。与已有技术不同的是，本发明在目标 检测与多目标跟踪之间建立了紧密的联系，而不是将其视为与跟踪完全独立的过程，能够 有效地缓解跟踪精度受限于目标检测器性能的问题。本发明同时提出利用已有目标轨迹中 的先验信息指导数据关联，在计算目标与检测结果之间的匹配程度的基础上，使用最大后 验估计的概率框架计算数据关联的后验概率，能够有效地处理目标之间的相互干扰。此外， 本发明在最大后验估计这个统一的概率框架下求解目标检测和数据关联问题，通过序贯轨 迹先验建立两者之间的联系，实现了目标检测和数据关联的联合优化。
[0019] 下面描述本发明的多目标跟踪方法的框架，具体为序贯轨迹先验在概率模型中的 形式化定义。然后通过具体实施例详细描述本发明的实施方式。
[0020] 1.多目标跟踪方法框架
[0021] 给定时刻t之前获得的观测数据，以目标轨迹和目标检测为随机变量， 本发明采用基于贝叶斯估计的概率框架建模多目标跟踪问题，形式化为最大化目标轨迹 和目标检测的联合后验概率：
[0022]
(1)
[0023] 其中？分别表示时刻tt之前最优的目标轨迹和目标检测结果。显然直接优 化公式（1)中的目标函数是不可行的，考虑到在线跟踪的特点，采用顺序优化的方式展开目 标函数。具体地，每一个时刻t的目标轨迹X f和目标检测％的优化，都以当前时刻的图像观 测在和前一时刻的轨迹优化结果为条件，表示为
[0024]
(2)
[0025] 其中￥和ΥΓ分别表示t时刻最优的目标轨迹和目标检测结果，第二个等式使用了 条件概率的定义。传统的在线多目标跟踪方法通过相互独立的目标检测和数据关联求解式 (2)的目标函数，目标检测的优化与数据关联没有联系，实际上获得的优化结果并不是式 (2)中所述问题的最优解。本发明引入一种序贯轨迹先验求解式(2)，采用最大后验估计的 概率框架将问题分解为两个由序贯轨迹先验紧密联系在一起的最大后验估计问题，表示为
[0026]
[0027]
[0028] 其中序贯轨迹先验由检测先验和关联先验两部分组成，将同时作用于目标检测和 数据关联两个过程，使得检测结果的优化会受到跟踪结果的影响，同时目标跟踪又依赖于 检测结果。进一步地，序贯轨迹先验在最大后验估计的框架下，以顺序的方式联合优化了目 标