基于复合稀疏模型的视频目标跟踪方法

基于复合稀疏模型的视频目标跟踪方法
【专利摘要】一种计算机视觉领域的基于复合稀疏模型的视频目标跟踪方法，基于复合稀疏表观模型在粒子滤波框架下，将所有粒子观测的联合稀疏系数矩阵分为组稀疏性、元素稀疏性和异常稀疏性三部分组成，代表了粒子在字典上的共享和非共享特征以及加性稀疏噪声。本发明使用L1,∞范数和L1,1范数正则化实现复合稀疏性，并采用变方向乘子法求解优化问题，具有较高的计算效率。本发明还提出了一种动态字典更新方法，以适应目标表观的变化。实验表明，本发明所提出的算法比所比较的几种传统视频目标跟踪算法有更好的跟踪性能和鲁棒性。本发明可以被应用于人机交互、智能监控、智能交通、视觉导航、视频检索等领域。
【专利说明】基于复合稀疏模型的视频目标跟踪方法

【技术领域】
[0001] 本发明涉及的是一种视频处理领域的技术，具体是一种应用于人机交互、智能监 控、智能交通、视觉导航、视频检索的基于复合稀疏模型的视频目标跟踪方法。

【背景技术】
[0002] 视频跟踪是计算机视觉领域的一个重要问题，它的任务是分析摄像机所拍摄到的 二维图像序列，然后对所感兴趣的目标或者区域进行持续的定位。无论是在民用还是军用 领域，视频跟踪技术都有着记为广泛的应用前景。现代的智能监控系统需要实现对视场内 的目标进行自动的检测、跟踪和识别，捕捉异常情况，并做出预警。缺少可靠和高效的视频 目标跟踪算法是智能监控领域的主要瓶颈之一。人机交互领域，人们已经不再满足于仅仅 基于鼠标和键盘的简单交互模型。随着虚拟现实技术的方法，基于视觉的人机交互方式已 经成为工业界和学术界的研宄热点。为了实现这个目标，计算机首先要具有感知人体运动 的能力，其前提是能从摄像机中定位人体的部位，然后在此基础上理解人的行为。因而可以 说视觉跟踪是人机交互的基础。智能交通系统是指，对所监控的道路的视频图像进行分析， 得出车辆行为、行人行为和交通流量等信息，然后对车流进行控制或者对交通事故进行防 范。智能交通中的一个非常关键的问题是车辆和行人的分割与跟踪，这也属于视频跟踪的 范畴。此外，视频目标跟踪在视觉导航、视频检索、视频压缩和视觉导航等领域都用重要的 应用。然而，由于目标表观变化、姿态变化、成像环境变化、背景干扰以及遮挡等因素，设计 准确、稳定、快速的视频跟踪算法仍然是一项十分有挑战性的任务。
[0003] 近年来，稀疏表示在视频跟踪领域的应用，使得跟踪算法的性能，尤其是在抗遮挡 方面，得到了显著的改善。通常，基于稀疏表示的视频跟踪算法在粒子滤波框架下实现，它 使用一些带有权重的粒子表示当前目标状态的概率密度函数，然后估计目标的位置。每个 粒子的初始观测为当前帧内对应区域的像素，通过稀疏表观模型，它们可以表示为由一个 字典中模板所张成的子空间上的一组稀疏系数。候选目标属于被跟踪目标的似然由这组稀 疏系数在字典上的线性组合和原观测的重构误差来定义。
[0004] 基于稀疏表示的视频跟踪算法可以大致分类两类：单任务算法和多任务算法。 典型的单任务算法，如 1^跟踪器[X.MeiandH.Ling，"Robustvisualtrackingusing L1Hiinimization,inComputerVision, 2009IEEE12thInternationalConferenceon, 1436 - 1443,IEEE(2009)]，在求解稀疏系数时，对每一个粒子单独进行L1最优化。这个作 法有两个缺点。第一，计算量比较大，如L1跟踪器使用内点法求解每一个粒子的Li最优 化问题，其计算复杂度是〇(m2nnmrn)，其中：m，η和r分别是特征维数、字典中模板个数 和粒子数。第二，假设粒子之间相互独立，完全忽视了粒子之间的联系。然而，由于粒子滤 波在采样粒子时使用的高斯分布，大部分粒子在空间上是相近的，因而他们的表观也具有 相似性。利用这种相似性可以改善所有粒子的整体重构性能，从而改善跟踪精度。多任务 学习可以利用多个相关学习任务之间的本质联系，从理论和经验上均被证明可以明显改进 整体性能。求解所有粒子的稀疏系数可以看作是多个相关的线性回归问题。因而，基于多 任务的稀疏表示视频跟踪算法的目的是利用多任务学习的优点来改进视频跟踪的性能。 代表性的算法是多任务跟踪器（MTT) [T.Zhang，B.Ghanem，S.Liu，andN.Ahuja，"Robust visualtrackingviamulti-tasksparselearning，''inComputerVisionandPattern Recognition(CVPR)，2012IEEEConferenceon，2042 - 2049,IEEE(2012)]。尽管实验结果 表明，多任务跟踪器的跟踪效果和计算效率都优于1^跟踪器，但是它有以下问题。多任务 跟踪器中粒子表观的联合稀疏性是由L1,,范数约束实现的。L,范数会导致过分强调粒子 之间的联系，特别是q> 2时，所有粒子的非零稀疏系数均取相似的值。这与粒子的特性应 当由粒子之间的共性和其自身个性组成的常识所矛盾。
[0005] 经过对现有技术的检索发现，中国专利文献号CN103985143A公开（公告）日 2014.8. 13,公开了一种基于字典学习的视频中鉴别性在线目标跟踪方法。该方法将候选样 本和模板进行分块，对各块提取稀疏表示系数，再将这些系数作为对应块的分类器，得到该 块候选样本的判定置信度，然后对各块的判定置信度随机抽取K个并求和，遍历所有可能 性，最后在各种可能性中被选取次数最多的候选样本，最为当前帧的跟踪结果。但该技术中 所有候选样本的稀疏表示系数的优化问题是孤立的考虑的，候选样本之间的关系是被忽视 的。也就是说，它属于一直单任务的跟踪算法，因而它的稀疏系数的估计精度难以满足工业 需要。


【发明内容】

[0006] 本发明针对现有技术存在的单任务稀疏表示跟踪算法的完全忽略粒子之间联系 和现有的多任务稀疏表示跟踪算法过分强度粒子之间共性的问题，提出一种基于复合稀疏 模型的视频目标跟踪方法。
[0007] 本发明是通过以下技术方案实现的，包括以下步骤：
[0008] 第一步：在待测试视频的初始帧，即第一帧中手工选择被跟踪目标，用其初始位置 生成初始粒子集扣I)，WjJlli，在初始位置周围紧采样生成初始字典D，选择单位矩阵Im作为 琐碎模板。
[0009] 第二步：在待测试视频的每一帧中，使用目标的运动模型预测粒子状态 K〇[=1;
[0010] 所述的目标的运动模型采用随机游走模型，即新的状态从前一时刻状态根据高斯 分布采样而得， ψ);
[0011] 第三步：提取预测的每一个粒子的区域的像素值并压缩为观测矩阵Y;
[0012] 所述的区域是为一个平行四边形，由粒子的状态所定义，包括参数包括中心位置、 长宽、倾斜角度。
[0013] 所述的压缩是指：对所得到的像素值进行下采样处理，并对采样后的像素值合并 为向量作为观测值，最后将多个向量组合成观测矩阵Υ。
[0014]第四步：利用观测矩阵Υ、字典D、琐碎模板Im，求解L1,JPL1,i范数优化问题，计算 复合稀疏表观模型的稀疏系数矩阵B、S和T;
[0015] 所述的复合稀疏表观模型是一种所有粒子的联合特征提取模型，即统一计算所有 粒子的观测在字典模板上稀疏表示系数，将所有粒子的联合稀疏系数矩阵分为三个部分： 组稀疏性、元素稀疏性和异常稀疏性，分别对应于粒子的共享特征、个性特征和异常特征， 具体为：在时刻t时，粒子滤波中，η个粒子的预测状态为= 它们的原始观 测为％ = …，〇?}，其中：4为根据状态以人当前帧中所裁剪出的图像区域；将这些观 测下采样并压成向量，得到最终的观测k= ···，#}。当字典为Dt=W1，…，dj，其 中：r是模板的个数；初始字典是在初始帧中，在目标的初始状态附近根据紧采样策略采样 获得，为了解决噪声和遮挡的问题，引入异常模板Im，即一个单位阵，将粒子观测上的噪声 或遮挡表示为一个加性的稀疏噪声，它在其支集上可以取任意大的值。在复合稀疏表观模 型中，观测矩阵Y可以表示为1Y=PUsI= +s) + /mr，其中，联合稀疏系数矩 阵B代表粒子在字典D上的共享特征，个性特征的元素稀疏矩阵S代表粒子在异常模板上 的稀疏系数，元素稀疏矩阵T代表加性噪声。
[0016] 所需求解的LuotJPLui范数优化问题为：
[0017]

【权利要求】
1. 一种基于复合稀疏模型的视频目标跟踪方法，其特征在于，包括以下步骤： 第一步：在待测试视频的初始帧，即第一帧中手工选择被跟踪目标，用其初始位置生成 初始粒子#
，在初始位置周围紧采样生成初始字典D; 第二步：在待测试视频的每一帧中，使用目标的运动模型预测粒子状态丨4,wUf=1; 第三步：提取预测的每一个粒子的区域的像素值并压缩为观测矩阵Y; 第四步：在复合稀疏表观模型
中，通过kjPLu 范数优化计算联合稀疏系数矩阵B、分别代表粒子在字典D上的共享特征和个性特征的元 素稀疏矩阵S以及代表粒子在异常模板上的稀疏系数的元素稀疏矩阵T; 第五步：计算重构误差E，并对每个粒子的权重wi进行更新； 第六步：以更新后权重最大的粒子作为当前帧的目标，该目标的状态为xt+，观测为yt% 第七步：使用观测通过自适应方式更新字典中的模板和稀疏； 第八步：输出所有帧的状态估计值，即{xt1t= 1, ...}，为该视频中目标的跟踪结果。
2. 根据权利要求1所述的方法，其特征是，所述的目标的运动模型采用随机游走模型， 即新的状态从前一时刻状态根据高斯分布采样而得，pOth-i) = w)。
3. 根据权利要求1所述的方法，其特征是，第三步中所述的区域是一个平行四边形，由 粒子的状态，即中心位置、长宽、倾斜角度所定义。
4. 根据权利要求1所述的方法，其特征是，所述的压缩是指：对所得到的像素值进行下 采样处理，并对采样后的像素值合并为向量作为观测值，最后将多个向量组合成观测矩阵 Y。
5. 根据权利要求1所述的方法，其特征是，所述的复合稀疏表观模型是一种所有粒子 的联合稀疏特征提取模型，即统一计算所有粒子的观测的稀疏表示系数，它将所有粒子的 联合稀疏系数矩阵分为三个部分：群稀疏系数矩阵B、元素稀疏系数矩阵T和异常稀疏系数 矩阵T，分别对应于粒子的共享特征、个性特征和异常特征。
6. 根据权利要求1所述的方法，其特征是，所述的复合稀疏表观模型的求解优化方程 为：
该模型具体通过变方向乘子法求解，即利用线性可分性将上述复杂的优化问题分解为 几个较为简单的子问题再进行逐个求解。
7. 根据权利要求6所述的方法，其特征是，所述的变方向乘子法将原优化问题分解为 了B、S、T、E四个子问题和一个迭代变量更新，再使用变方向乘子法将四个子问题转换为标 准的范数和LU1范数正则化问题，从而得到最终的求解方法，该优化问题的基本求解框 架为：

【文档编号】G06T7/20GK104484890SQ201410802562
【公开日】2015年4月1日 申请日期:2014年12月18日 优先权日:2014年12月18日
【发明者】敬忠良, 金博, 王梦, 潘汉 申请人:上海交通大学