基于时空上下文信息辅助的关键点稳定跟踪方法
【技术领域】
[0001] 本发明设及一种计算机视觉领域的视觉目标跟踪方法。
【背景技术】
[0002] 关键点是一类典型的目标特征点，对关键点的稳定跟踪是实现目标精确捕获的前 提。在许多应用领域，都需要对目标进行精确定位，但由于噪声、遮挡、杂乱背景、光照变化、 姿态变化及视角变化等干扰因素的影响，关键点位置也随着目标运动而发生改变，它可能 被遮蔽成目标的内点，也可能外界遮档，因此即使跟踪到了目标，准确地跟踪关键点的位 置也非常困难。目前对关键点的跟踪方法主要由两类，一是基于光流的跟踪，将特征点跟踪 看做成是光流计算问题，通常在参考帖图像中选择一组特征点，并且假设特征点纹理在帖 间保持不变，然后通过局部匹配实现对特征点的跟踪，然而光流场计算量大、实时性不强， 还有孔径问题；另一类是基于特征的跟踪，首先提取目标稳定的特征点，然后对此特征点进 行稳定跟踪。然而，当图像中目标发生遮挡时，可能出现特征隐藏或虚假特征及隐藏特征再 现等情形，影响关键点跟踪的稳定性。
[0003] 此外，图像序列中的运动目标物体一般都存在于一个上下文环境中，目标与上下 文环境中的其他物体之间或自身不同时刻状态之间存在着紧密的联系。使用目标与上下文 之间的关系，可W预测目标在下一时刻可能出现的位置。基于上下文的运动目标跟踪是指 在跟踪过程中使用了上下文信息来确定目标物体位置的跟踪方法。常用的上下文信息包括 与目标物体运动相关的近邻物体、物体自身的局部子区域、物体的运动轨迹W及轨迹之间 的联系、物体运动的速度和加速度W及一些合理的推测等。当目标物体处于一个复杂的环 境中，特别是当发生遮挡甚至完全遮蔽时，可利用目标周围上下文信息实现对目标的精确 定位。使用上下文信息进行跟踪不仅可W利用目标物体自身的表观信息，还可W利用自身 W外的多种信息，从而扩大了跟踪时可利用的信息来源。
【发明内容】
[0004] 本发明目的是解决遮挡、光照改变、快速运动等各种复杂情形下关键点的稳定跟 踪问题。
[0005] 本发明利用时空上下文辅助信息实现对关键点的稳定跟踪，首先通过人工选择方 式或自动检测手段提取目标上的关键点，然后构建关键点与目标周围特征点的时空上下文 模型，并通过在线学习方式对该模型进行更新。待获取新一帖图像后，求取目标位置置信度 响应，响应度最大的位置即为待跟踪的关键点在新一帖图像中的位置。当待跟踪目标由于 遮挡或表观严重变化而丢失时，可利用上下文信息来预测目标位置。此外，还可用上下文辅 助W抑制由于错误表观引起的跟踪漂移。本发明的具体设计方案包括步骤：
[0006] A建立目标位置估计模型
[0007] 将关键点跟踪看成是求解目标位置估计似然函数的最大值问题，即求解目标位置 似然的置信度：
[0008]
【主权项】
1. 一种基于时空上下文信息辅助的关键点稳定跟踪方法，其特征在于包括以下步骤： 首先通过人工选择方式或自动检测手段提取目标上的关键点，然后构建关键点与目标 周围特征点的时空上下文模型，并通过在线学习方式对该模型进行更新，待获取新一帧图 像，求取目标置信度响应，响应最大的位置即为待跟踪的关键点在新一帧图像中的位置；当 跟踪目标由于遮挡或表观严重变化而丢失时，利用上下文信息来预测目标位置，此外，还可 用上下文辅助以抑制由于错误表观引起的跟踪漂移，所述的目标置信度响应计算过程为： A建立目标位置估计模型 将关键点跟踪看成是求解目标位置估计似然函数的最大值问题，即求解目标位置似然 的置信度：
lt(z) =P(zt|st)，lt(z)为目标位置的似然函数，zte R2是当前帧中目标位置，St代表 目标当前状态； 引入上下文信息对目标位置进行估计，令Fs= {f z( = )I 7(7(7￡)5,2〇表示与目 标相关的上下文信息集合；I (y)是位于y的像素点的灰度值；S(Zt)是当前帧目标位置\周 围上下文区域，将目标位置估计似然转换为目标周围上下文信息对目标位置的投影映射：
使置信度值最大的f就是目标的位置；从公式（2)知，似然函数可分解为两个概率部 分：一个是目标与周围上下文信息的空间关系的条件概率P(z I f(y)，c)，通过在线学习得 出；一个是局部上下文位置点z的上下文先验概率P (f(y) |c); B建立目标与上下文的空间关系模型 空间上下文模型描述的是条件概率函数，将其建模为： P(z|f (y), c) = h(z-y) (3) h (z_f (y))是一个关于目标z与上下文位置y的距离方向函数，它表征目标与上下文的 空间关系，该函数径向不对称，有助于分辨二义性，防止跟踪漂移到相似目标上； C建立上下文先验概率模型 根据生物视觉注意机理，处于某个视觉注意区域内的目标，离其越近的点关注得越多， 反之关注得越小；该注意机理反映在物理描述上就是离目标越近的点被赋予的权重越大； 据此，将上下文先验概率P (f(y) I c)建模为： P (f (y) I c) = I (y) ω c (y-z*) (4) 其中I (y)是点y的灰度，《。（ ·）为一个加权函数，y离Zit越近，权值越大； D时空上下文模型的在线学习更新 将式（3)、式（4)代入式（2)，得目标位置的似然估计值为
?>表示卷积，对式（5)两边同时进行快速傅里叶变换，得到： F(Kz)) =F(h(z)) Θ F(I (ζ) ωε(ζ-ζ*)) (6) Θ表示点乘，F( ·)表示快速傅里叶变换，空间上下文模型为：
Γ1 ( ·)表示逆FFT，利用两个正傅里叶变换和一个逆傅里叶变换，求取空间上下文条件 概率； 将时空上下文模型更新看成是一个IIR滤波过程，即t+Ι时刻新的空间上下文与t时 刻空间上下文满足以下关系： Ht+1(z) = (1-p )Ht(z) + p ht(z) (8) 在获取t+1时刻新的时空上下文关系后，用两个正傅里叶变换和一个逆傅里叶变换来 加速计算新一帧中目标位置的置信度响应：
目标在下一帧的位置对应置信度响应最大的位置：
【专利摘要】一种基于时空上下文信息辅助的关键点稳定跟踪方法，本发明包括以下步骤：首先通过人工方式选择或自动检测手段提取目标上的关键点，然后构建关键点与目标周围特征点的时空上下文模型，并通过在线学习方式对该模型进行更新，待获取新一帧图像，求取目标置信度响应，响应度最大的位置即为待跟踪的关键点在新一帧图像中的位置；当目标物体由于遮挡或表观变化严重而发生信息丢失时，利用上下文信息来预测目标位置，同时可以抑制由于错误表观信息导致的漂移。用本发明方法跟踪目标时，精度高，鲁棒性、适应性强，能实现遮挡、光照改变、快速运动等各种复杂情形下关键点的稳定跟踪。
【IPC分类】G06K9-46, G06T7-20
【公开号】CN104537692
【申请号】CN201410841442
【发明人】王鲁平, 张路平, 高颖慧, 李飚, 王平, 赵明, 梁楹, 范明喆
【申请人】中国人民解放军国防科学技术大学
【公开日】2015年4月22日
【申请日】2014年12月30日