专利名称：基于核及目标连续自适应分布特征的跟踪方法
技术领域：
本发明涉及的是一种计算机视觉技术领域的跟踪方法，特别是一种基于核及 目标连续自适应分布特征的跟踪方法。
背景技术：
目前可视目标跟踪技术可分为数据驱动的跟踪和模型驱动的跟踪。数据驱 动的可视目标跟踪方法往往采用局部优化的算法，找到相似性的梯度信息来确定 目标运动的方向(实时性好)，实质上，这种方法是变跟踪问题为局部寻优问题； 或者直接进行块匹配法来进行跟踪(实时性差)，但是利用多尺度分解方法，采用 由粗到精的跟踪思路，能提高块匹配法的实时性。更为流行的模型驱动方法则是 利用随机的动态运动模型来预测目标的运动状态，然后利用观测信息更新模型状 态以确定目标的位置，这种方法又叫做滤波方法。由于观测模型与目标的运动状 态之间往往是非线性的关系，所以可视目标跟踪问题就成了一个非线性滤波问题。 上述两类方法的共同点就是都利用了局部观测信息进行跟踪。还有另一类方法是 依赖于静态或动态图像的全局检测算法来实现跟踪。
经对现有技术文献的检索发现，Comaniciu等在《IEEE Transactions on Pattern Analysis and Machine Intelligence》 (pp. 564-577， 2003) 上发表 "Kernel based object tracking"(基于核的目标跟踪，《IEEE模式分析与机器 智能杂志》)。基于核的目标跟踪(简记为KBT)又称为mean shift (均值漂移)跟 踪。Mean shift方法将核直方图作为目标特征的描述，即采用了目标区域的像素 颜色或灰度分布作为图像特征的描述方式。Mean shift作为一种高效的模式匹配 方法，被成功的应用在了对实时性要求较高的可视目标跟踪领域，已成为数据驱 动式的可视目标跟踪方法的代表。
一般来说，可视目标跟踪可描述为在初始帧，提取目标区域的特征作为跟 踪模板，在后续视频帧中，与跟踪模板匹配最相似的图像区域成为目标跟踪结果。 对于KBT方法，在初始帧中提取的目标模板特征叫做"目标模型"，在后续视频帧 中用于匹配的特征叫做"候选模型"。
4在实际的跟踪应用领域中，目标将出现尺度大小、形状和姿态等的变化，加 上环境中的各种其他因素干扰，相关匹配跟踪得不到最佳的匹配位置，必然存在 测量误差。当跟踪置信度下降到小于模板更新的阈值时，模板已发生较大的漂移。 另外，当图像的亮度和对比度发生变化且出现灰度反转时，最佳匹配点的位置将 随灰度的变化而变化，跟踪误差逐渐增大。所以作为相关跟踪过程中相似性度量 基准的模板图像，在跟踪过程中，必须及时得到更新修正。
Mean Shift方法是一种密度函数梯度估计的非参数方法，通过迭代寻优找 到概率分布的极值来定位目标。对于mean shift跟踪方法来说，目标模型可以看 作是跟踪模板。当跟踪窗口在包含目标区域的同时逐渐混入很多背景区域时，由 于跟踪窗口的中心始终指示着目标的形心，因此空间定位误差很小。但是当目标 不断增大尺寸并且大于跟踪窗口的尺度时，不仅会导致尺度定位偏差，还导致空 间定位偏差。另一方面，当目标不断縮小尺寸时，由于跟踪窗口大小不变，最终 必定会导致极大的尺度定位误差。因此，对于mean shift的跟踪模版自适应应该 包含两方面的内容
(1) 目标模型自适应更新；
(2) 跟踪窗口尺度自适应更新；
为了避免模板更新不及时导致定位误差积累，并向后继跟踪过程传递，必须 设计有效的模板更新和修正策略以获得稳健的跟踪性能。
Bradski G R提出的CAMSHIFT (Continuously adaptive mean shift)方法 用于感知用户界面的人脸跟踪中，它采用HSV色彩空间的H分量建立目标直方图 模型，限于跟踪特定颜色的目标。值得注意的是，区别于KBT， CAMSHIFT方法是 基于目标的连续自适应分布实现目标跟踪。CAMSHIFT方法能够自动调节窗口大小 以适应被跟踪目标在图像中的大小。通过对比分析KBT和CAMSHIFT各自的优势 及缺点，可以看出KBT缺乏必要的模型更新，其固定不变的核函数窗宽，既跟踪 窗口的大小不变，影响了跟踪的准确性，在目标存在明显尺度变化时，会导致尺 度定位不准确，甚至造成目标的丢失。而CAMSHIFT方法由于缺乏一个相对稳定的 目标模型作为模板，因此在大面积背景干扰情况下,不能实现有效的跟踪。本发明 旨在结合目标的静态模型和动态连续自适应分布各自的优势，取得更加稳健的跟 踪效果。
发明内容
本发明的目的在于针对现有技术存在的不足，提出一种基于核及目标区域的 连续自适应分布特征的跟踪方法，能够实现在动态场景中，目标尺度和表观发生 较大变化条件下的跟踪。
本发明通过以下技术方案实现，本发明基于核的目标跟踪，在均值漂移跟踪 自身框架内，结合目标跟踪区域的自适应分布和相对稳定的目标模型，对候选模 型经过直方图后向映射，以跟踪区域分布图像的零阶矩来估计跟踪窗口的尺度。 最后在更新阶段，根据目标模型和候选模型的相似度，同时实现了目标模型的自 适应更新和跟踪窗口尺度的自适应更新。
本发明包括如下步骤
1、 跟踪初始化在初始帧确定目标跟踪区域，S卩确定目标位置和尺度的 初始参数。在初始的目标跟踪区域中提取目标模板特征，即目标模型。
2、 跟踪开始后，在候选区域，提取目标的核直方图特征，即候选模型。按照
KBT算法计算mean shift向量，确定目标的位置。以新得到的目标位置为参数更 新跟踪区域，并在更新后的跟踪区域内重新提取目标的核直方图特征。
3、 以重新提取的目标核直方图为分布，对跟踪区域进行直方图后向映射变换 (HBP: Histogram Back-Projection)。通过HBP可以得到跟踪区域的分布图像。
4、 计算跟踪区域分布图像的零阶矩。根据跟踪窗口的纵向尺度和横向尺度的 比例参数，利用零阶矩为更新权值，计算新的跟踪窗口尺度参数。
5、 按照新的跟踪窗口尺度参数和第2步所得的位置参数，更新跟踪区域，并 在跟踪区域，提取目标核直方图特征作为新的候选模型。计算目标模型与新的候 选模型之间的相似程度若当前相似程度高于前一帧的相似度，则以当前相似度 为权值，对目标模型进行加权更新。同时，使用第4步所得的尺度参数更新跟踪 窗口尺度。
本发明跟踪开始后，首先在候选区域提取目标的候选模型。通过KBT方法确 定新的目标位置参数并以此更新跟踪区域。以新跟踪区域目标核直方图为分布进 行直方图后向映射变换，从而得到新跟踪区域的分布图像。然后计算新跟踪区域 分布图像的零阶矩，利用零阶矩为更新权值，计算新的跟踪窗口尺度参数。按照 新的跟踪窗口尺度参数和新的目标位置参数重新提取新的候选模型。最后，计算新候选模型、候选模型与目标模型间的相似度，通过相似度的比较来实现目标模 型的自适应更新和跟踪窗口尺度的自适应更新。
本发明在mean shift技术框架内，提出了一种结合连续自适应分布的可视跟 踪方法具有如下有益效果
在KBT方法中，在每一幅跟踪帧，候选模型都需要被重新计算。因此本发明 直接采用候选模型作为连续自适应分布。由于跟踪区域分布图像是根据目标核直 方图建立的，因此在跟踪区域中，属于目标的像素可以得到增强显示。而非目标 像素会受到抑制，因此只要目标模型能够得到适时的更新且能够与候选模型保持 较高的相似度，方法的跟踪性能就可以得到极大提高。通过计算跟踪区域分布图 像的零阶矩，可以充分利用候选模型包含的信息，同时估计出跟踪窗口的尺度参 数。在更新阶段，根据候选模型与目标模型相似度来判断更新执行的条件，将KBT 算法中原先静态的目标模型转化为了动态目标模型，使得尺度更新和目标模型的 更新操作具有更高的稳健性和适应性。由于本发明在mean shift技术框架内实现， 因此保留了传统KBT方法易于实现、运行速度快的优点，具有较高的实用价值。
图1为本发明基于核及目标连续自适应分布特征的跟踪方法示意图。 图2为本发明与KBT方法及CAMSHIFT方法跟踪效果的比较示意图。 图3为本发明与KBT方法的候选模型与目标模型之间相似性比较曲线图。
具体实施例方式
以下结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于 下述的实施例。
如图1所示，本实施例在确定跟踪区域，提取目标模型为跟踪模板后，运行 KBT跟踪方法获得目标位置，利用KBT得到的结果更新跟踪区域为候选区域后，在 候选区域提取核直方图特征，即候选模型。基于候选模型，对候选区域进行直方 图后向映射操作即可得到该区域的分布图像。计算该区域分布图像的零阶矩。将 候选模型和零阶矩输入图中右侧的更新模块，从而实现跟踪窗口尺度和目标模型 的更新操作，使得跟踪方法具备自适应特性。
本实施例包括如下步骤1、 确定目标初始位置参数〈《—、乂一〉和初始尺度参数(《—、S")。
77 "=及五cr(x" ， (1, f ， C) (1)
其中，上标k代表跟踪的帧编号，初始化时，k=l; (l)式中，(《1，(1,《—、S")
代表初始选定目标的中心位置参数，以及目标在x坐标方向和y坐标方向的跟踪窗口 尺度参数。77 " = i 五cr(《-1,(1 ，(1,S，1)代表由((1 ，(1 ，,《—1)参数构成的矩
形跟踪窗口。
在初始跟踪区域中提取目标模板特征，即目标模型
f=kL』，其中，-c°)"(6(《),") (2)
",=i
根据KBT方法的定义，目标的初始中心位置记作 是跟踪区域
中的各像素位置，Kernel为对跟踪区域像素值的加权核函数。3(0为Kronecker delta函数。6(《)是完成将各像素向直方图各对应分量映射的函数。G是归一化
常数，用以保证|> =1成立。w代表核直方图分量的下标。与目标模型的定
义类似，候选模型定义为如下形式
= 其中，p,+t^，"《—。"讽《),").(3)
2、 跟踪开始后，在当前第k帧中，原来第k-l帧的跟踪区域变为候选区域， 在候选区域按照(3)提取目标的核直方图特征，即候选模型。计算mean shift向 量，可按照如下公式迭代进行
确定目标位置= (A/，△/) (4)
迭代公式为t《i^"""'-。'w(Z'HX'-。 (5)
△ C= "1^-^-
t K謂/使用第二步结果更新跟踪候选区域，表示为
C = i^:cr((1 + a/ , 乂-1 + △/,《-1,《1) (7)
其中，A一 ^A/,A/)代表采用均值漂移算法得到的目标中心位置平移量。
tk證/(x, - ) -c" Ac*=^~^_代表均值漂移算法的计算公式。
C -Mcr((1十A^,(1 +A/,(1，《1)代表使用新的目标中心位置
平移量更新目标区域后得到的结果。
接下来，以新得到的目标位置为参数更新跟踪区域，并在更新后的跟踪区域
内按照(3)，重新提取目标的核直方图特征。
3、以重新提取的目标核直方图为分布，对跟踪区域进行直方图后向映射变换 (HBP: Histogram Back-Projection)。变换方式如下
》=[AJ"j其中，A =min
,255 、
(8)
根据(8)的定义，直方图分量A的取值范围从
映射到了[O， 255].通过HBP可以得到跟踪区域的分布图像。
4、计算跟踪区域分布图像的零阶矩mq。。计算公式如下
《=1]》"力 (9) 其中，/(jc，力是经过HBP后，跟踪区域的分布图像在(x,y)位置的灰度值。 利用零阶矩^l/。。为更新权值，计算新的跟踪窗口尺度参数
&=".7^ (10) & =々《 (11) 其中，"为跟踪窗口尺度与目标尺度的比例，实际应用中，为了完全覆盖目
标，跟踪窗口尺度需略大于目标尺度("=1. 1)，々为跟踪窗口的纵向尺度和横向
尺度的比例参数。
95、按照新的跟踪窗口尺度参数(&，&)和第2步所得的位置参数，更新当前 候选区域
C# = MC7X(1 + A/, (1 + 》 (12) 按照(3)提取目标核直方图特征作为新的候选模型。 计算目标模型与候选模型之间的相似程度枫》—、》—"，厌》_1,》)。 其中、^w)为上一帧的目标模型与候选模型之间的Bhattacharyya系
数，',》)为上一帧的目标模型与当前候选模型之间的Bhattacharyya系数， 计算公式如下
根据Bhattacharyya系数比较，具体更新过程如下 若5"",-1) < J)
则更新尺度《=&
更新目标模型》=5(》-j，户+(1-风》-'，,)^-1 否则保持跟踪窗口尺度与目标模型不变
sx1，《《1，》4"
更新结束。
如图2所示，图2中(a)-(c)为传统KBT方法的跟踪效果，由于其跟踪窗口尺 度无法得到适当的更新，当目标尺度变大时，跟踪性能逐步变差。图2中(d)-(f) 为CAMSHIFT方法的跟踪效果。虽然CAMSHIFT能够自动调节窗口大小，但是由于 动态场景的强烈干扰，又缺乏一个相对固定的跟踪模板，CAMSHIFT得到的跟踪窗 口尺度往往过大，从而包含了过多的背景像素，最终导致跟踪性能下降。图2中 (g)-(i)为本实施例的跟踪效果，从中可以看出，本实施例提出的跟踪方法实现了 在动态场景中，目标尺度和表观发生较大变化条件下的跟踪。
如图3所示，星号线表示了本实施例提出方法的跟踪结果与目标模板间的相 似度；实线表示了 KBT方法的跟踪结果与目标模板间的相似度。
在本实施例中，由于引入了专门的目标尺度和模型更新方法，保证了目标能
10够始终被完全锁定，因此，可以与目标模板特征保持更好的一致性，实现了对目 标的稳健跟踪。
权利要求
1、一种基于核及目标连续自适应分布特征的跟踪方法，其特征在于，基于核目标跟踪方法，在均值漂移跟踪自身框架内，结合目标区域的自适应分布和相对稳定的目标模型，对候选模型经过直方图后向映射，以跟踪区域分布图像的零阶矩来估计跟踪窗口的尺度，最后在更新阶段，根据目标模型和候选模型的相似程度，同时实现了目标模型的自适应更新和跟踪窗口尺度的自适应更新。
2、 根据权利要求l所述的基于核及目标连续自适应分布特征的跟踪方法，其 特征是，包括如下步骤① 、在初始帧确定目标跟踪区域，提取目标模板特征；② 、跟踪开始后，在候选区域，提取目标的核直方图特征，确定目标的位置参 数，以新得到的目标位置为参数更新跟踪区域，并在更新后的跟踪区域内重新提 取目标的核直方图特征；③ 、以重新提取的目标核直方图为分布，对跟踪区域进行直方图后向映射变换， 通过映射变换得到跟踪区域的分布图像；④ 、计算跟踪区域分布图像的零阶矩，根据跟踪窗口的纵向尺度和横向尺度的 比例参数，利用零阶矩为更新权值，计算新的跟踪窗口尺度参数；◎、按照新的跟踪窗口尺度参数和第②步所得的位置参数，更新跟踪区域， 并在跟踪区域提取目标核直方图特征作为新的候选模型，计算目标模型与新的候 选模型之间的相似程度，通过对当前相似程度和前一帧相似程度的比较，来对目 标模型和跟踪窗口进行更新。
3、 根据权利要求2所述的基于核及目标连续自适应分布特征的跟踪方法，其 特征是，所述的在初始帧确定目标跟踪区域，是指确定目标位置和尺度的初始 参数。
4、 根据权利要求2所述的基于核及目标连续自适应分布特征的跟踪方法，其 特征是，所述的提取目标的核直方图特征，其公式如下其中<formula>formula see original document page 2</formula>是跟踪区域中的各像素位置，Kernel为对跟踪区域像素值的加权核 函数，.S(6(X,)，w)为Kronecker delta函数，&(《)是完成将各像素向直方图各对应分量映射的函数，G是归一化常数，用以保证|> =1成立，"代表核直方 =1图分量的下标。
5、根据权利要求1或2所述的基于核及目标连续自适应分布特征的跟踪方法， 其特征是，所述的直方图后向映射，其公式如下,255 、其中,A =薩(/7) 人d A为直方图分量，A的取值范围从
映射到了[O， 255]。
6、 根据权利要求1或2所述的基于核及目标连续自适应分布特征的跟踪方法， 其特征是，所述的跟踪区域分布图像的零阶矩，其公式如下似o。-;z2^"，力X 少其中，/(jc,力是经过HBP后，跟踪区域的分布图像在(x，y)位置的灰度值。
7、 根据权利要求2所述的基于核及目标连续自适应分布特征的跟踪方法，其 特征是，第⑤步所述的相似程度比较，其公式为其中，B""，》—i)为上一帧的目标模型与候选模型之间的Bhattacharyya系数，5(》、》)为上一帧的目标模型与当前候选模型之间的BhattacharTya系数。
8、根据权利要求2所述的基于核及目标连续自适应分布特征的跟踪方法，其 特征是，所述的对目标模型和跟踪窗口进行更新，是指若当前帧候选模型与目 标模型的相似程度高于前一帧候选模型与目标模型的相似程度，则以零阶矩为更 新权值对目标模型和跟踪窗口进行更新，否则保持目标模型和跟踪窗口尺度不变。
全文摘要
本发明涉及一种计算机视觉技术领域的基于核及目标连续自适应分布特征的跟踪方法。本发明在mean shift自身框架内，结合目标区域的自适应分布和相对稳定的目标模型，对候选模型经过直方图后向映射，以跟踪区域分布图像的零阶矩来估计跟踪窗口的尺度。最后在更新阶段，根据目标模型和候选模型的相似度，同时实现了目标模型的自适应更新和跟踪窗口尺度的自适应更新。能够实现在动态场景中，目标尺度和表观发生较大变化条件下的跟踪。
文档编号G06T7/20GK101551909SQ20091004901
公开日2009年10月7日 申请日期2009年4月9日 优先权日2009年4月9日
发明者敬忠良, 李元祥, 韩日升 申请人:上海交通大学