基于水平集的在线目标轮廓跟踪方法
【专利摘要】本发明公开了一种基于水平集的在线目标轮廓跟踪方法，先在第一帧目标图像中手动标定初始轮廓，设置水平集轮廓跟踪标志，根据初始目标轮廓来初始化判别式分类器、水平集函数和目标检测器；根据水平集轮廓跟踪标志是否有效来决定是否进行基于判别式表观模型的水平集轮廓跟踪；采用目标检测器进行目标检测；根据轮廓结果和目标结果判断得到目标轮廓跟踪结果，更新初始目标轮廓；然后根据目标轮廓跟踪结果对判别式分类器、水平集函数和目标检测器进行更新，再对下一帧图像进行目标轮廓跟踪。本发明采用基于判别式表观模型的水平集轮廓跟踪和目标检测联合进行目标轮廓跟踪，从而实现高精度、持续性的目标轮廓跟踪。
【专利说明】
基于水平集的在线目标轮廓跟踪方法
技术领域
[0001] 本发明属于图像目标跟踪技术领域，更为具体地讲，设及一种基于水平集的在线 目标轮廓跟踪方法。
【背景技术】
[0002] 视频跟踪现在已经广泛应用于各种不同的场合和领域，在很多方面已经给人们的 日常生活和社会发展带来了不可估量的影响。而其中轮廓跟踪起到了十分重要的作用。比 如医学上，多细胞进行轮廓跟踪，研究细胞分裂变化方面做出重要贡献。对于细胞生命再生 演变，进行长时间的分析跟踪，对其轮廓精度的要求是十分重要的，运也对W后人类文明起 到十分重要的作用；再比如，通过对人体行为的跟踪，进行行为分析，之后也会应用到多个 方面。
[0003] 在跟踪实际过程中会有各种各样的移动的物体，物体有时候会从录像视野出现， 有时候又会消失，目标丢失或者跟踪丢失的问题并不是很直接地就能够得到处理。要实现 长期跟踪，有很多的问题需要解决。首先，最关键的问题就是目标物体的重新检测，即当目 标消失于录像视野后，再重新出现的时候，能否对丢失的目标进行检测。而且，有时候目标 发生了变化，比如说外观形变等，W致与最开始的目标外在特征不相关，在运种情况下，会 让问题变得更加复杂和严峻。基于检测的算法可W在每一幅视频帖中独立地估计出目标。 如果目标从录像视野中消失，检测器并不会发生漂移也不会像跟踪失败那样的问题。然而， 运种单纯的基于检测的算法需要事先的离线的训练过程，因此运种方法不能够应用于对未 知物体的检测跟踪。
[0004] 针对上述问题，业内提出了一种!'LDdYacking-Learing-Detect ion)跟踪方法，将 跟踪、学习、检测同时应用于目标跟踪过程中，相互促进，实现鲁棒性较高的长期跟踪。目前 TLD主要实现的是基于矩形框匹配的跟踪，而目标轮廓更能反映目标的本质，若将化D思想 应用与目标轮廓跟踪中，从而实现目标轮廓的长时间跟踪有十分重要的意义。在目标轮廓 跟踪中，目前主要方法是采用基于活动轮廓模型的轮廓跟踪方法。它是一个关于动态的二 维闭合曲线的模型，它在模型内力和外力的共同作用下向目标边界运动，从而达到提取目 标边界的目的，其中内力的作用是使轮廓线规则和光滑，而外力的作用则是驱动轮廓线向 目标边界运动。通常，内力与外力是通过求解一个关于模型轮廓线的能量泛函而获得的。一 般主动轮廓模型包含两种方式，一种是参数化主动轮廓模型，如snakes模型；另一种是几何 主动轮廓模型，如水平集（Ievelset)模型。而几何主动轮廓比起参数化主动轮廓有W下优 点：1)能处理拓扑变换;2)不需要精确的初始化;3)有稳定的数值近似方法。
[0005] 水平集方法利用一个更高一维的水平集函数的等值曲线来隐含地表示所要研究 的闭合曲线，通过不断更新运个水平集函数从而实现演化该闭合曲线的目的。国内外学者 对水平集提出了很多改进方法，方法不同主要是能量函数的选取不同。能量函数的构造方 式主要分为产生式和判别式，基于判别式的水平集在复杂背景和干扰条件下有更好的鲁棒 性。用判别式的方式产生的置信图可用于目标轮廓跟踪且具有很好的效果。目前获得轮廓 置信图的分类器都采用离线学习，分类器不进行实时在线更新，并且要实现针对特定的目 标进行训练，导致分类器的推广能力不足，无法适应其他目标类型。基于离线学习的跟踪方 法还有另外一个问题就是它需要事先准备大量的训练数据，才能保证该分类器正常工作。 所W，要实现在线跟踪未知目标，分类器需要采用在线学习的策略。同时，在线主动轮廓跟 踪很容易受到噪音干扰发生漂移的情况，一旦跟丢，就会导致跟踪失败，无法持续跟踪。
【发明内容】
[0006] 本发明的目的在于克服现有技术的不足，提供一种基于水平集的在线目标轮廓跟 踪方法，结合了判别式表观模型的水平集轮廓跟踪和目标检测，从而实现高精度、持续性的 目标轮廓跟踪。
[0007] 为实现上述发明目的，本发明基于水平集的在线目标轮廓跟踪方法包括W下步 骤：
[0008] SI:在视频图像的第一帖目标图像中，手动标定初始目标轮廓Cint,设置水平集轮 廓跟踪标志A= 1 ;根据初始目标轮廓Cint来初始化判别式分类器和水平集函数，根据初始目 标轮廓Cint的外接矩形来初始化目标检测器；
[0009] S2:如果水平集轮廓跟踪标志A=I，进入步骤S3,否则进入步骤S4;
[0010] S3:对视频图像中的第t帖待跟踪图像进行基于判别式表观模型的水平集轮廓跟 踪，具体方法为:对于视频图像中的待跟踪的第t帖图像，首先提取每个像素点的特征向量， 采用判别式分类器进行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，贝U 将其置信图对应的像素点标记为1，反之标记为-1，从而得到置信图IcDnf;根据置信图Iwnf进 行水平集进化，得到目标图像的轮廓结果Ct;进入步骤S4 ;
[0011] S4:对视频图像中的第t帖待跟踪图像采用目标检测器进行检测，得到检测结果 Dt;
[001 ^ S5:分别计算轮廓结果Ct和检测结果Dt的可靠度Pc、Pd，如果轮廓结果Ct或检测结果 Dt不存在，则可靠度Pc为0;如果Pc>Tp，Tp表示预设的可靠度阔值，则判定轮廓结果Ct可靠， 否则轮廓结果Ct不可靠;如果Pd>Tp，则判定检测结果Dt可靠，否则检测结果Dt不可靠；
[0013] S6:只要轮廓结果Ct是可靠的，则将Ct作为最终轮廓跟踪结果Q，并令初始目标轮 廓Cint = Ct,水平集轮廓跟踪标志A=I;当轮廓结果不可靠而检测结果可靠时，不存在最终 轮廓跟踪结果q，令初始目标轮廓Cint = Dt,水平集轮廓跟踪标志A=I;当轮廓结果和检测 结果均不可靠时，不存在最终轮廓跟踪结果4，令水平集轮廓跟踪标志A = O;
[0014] S7:当轮廓结果Ct和检测结果Dt都可靠时，对判别式分类器进行更新，更新方法为： 求取跟踪结果6与检测结果Dt的交集，其中的像素点作为正样本，之外的像素点作为负样 本;将正样本和负样本加入判别式分类器的动态样本，在保存动态样本的同时为每个样本 记录对应轮廓结果Ct的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的 时候保留权值大的正负样本，淘汰权值小的正负样本;采用新的样本池重新训练判别式分 类器；
[0015] 如果初始目标轮廓Cint被更新，则采用当前的初始目标轮廓Cint重新初始化水平集 函数；
[0016] 当轮廓结果Ct和检测结果Dt都可靠时，对轮廓结果Ct的最大外接矩形与检测结果 Dt进行平均得到平均矩形框bavg，根据平均矩形框bavg获得第t帖图像中的目标区域图像，采 用该目标区域图像对目标检测器进行重新训练；
[0017] 更新完毕后返回步骤S2对下一帖图像进行目标轮廓跟踪。
[0018] 本发明基于水平集的在线目标轮廓跟踪方法，先在第一帖目标图像中手动标定初 始轮廓，设置水平集轮廓跟踪标志，根据初始目标轮廓来初始化判别式分类器、水平集函数 和目标检测器;根据水平集轮廓跟踪标志是否有效来决定是否进行基于判别式表观模型的 水平集轮廓跟踪;采用目标检测器进行目标检测;根据轮廓结果和目标结果判断得到目标 轮廓跟踪结果，更新初始目标轮廓;然后根据目标轮廓跟踪结果对判别式分类器、水平集函 数和目标检测器进行更新，再对下一帖图像进行目标轮廓跟踪。
[0019] 本发明采用基于判别式表观模型的水平集轮廓跟踪和目标检测联合进行目标轮 廓跟踪结果判定和初始目标轮廓更新，W及判别式分类器、水平集函数和目标检测器的在 线更新，从而实现高精度的目标轮廓跟踪，并且能在目标丢失后恢复跟踪，无需重新训练， 即实现了对目标的持续性跟踪。
【附图说明】
[0020] 图1是本发明基于水平集的在线目标轮廓跟踪方法的【具体实施方式】流程图；
[0021] 图2是初始化示意图；
[0022] 图3是本发明和两种对比方法对toy序列的目标轮廓跟踪对比；
[0023] 图4是本发明和两种对比方法对toy序列的跟踪精度对比；
[0024] 图5是本发明和两种对比方法对highway序列的目标轮廓跟踪对比；
[00巧]图6是本发明和两种对比方法对highway序列的跟踪精度对比；
[00%]图7是本发明和两种对比方法对stapler序列的目标轮廓跟踪对比；
[0027] 图8是本发明和两种对比方法对stapler序列的跟踪精度对比；
[0028] 图9是本发明和两种对比方法对nemo序列的目标轮廓跟踪对比；
[0029] 图10是本发明和两种对比方法对nemo序列的跟踪精度对比；
[0030] 图11是本发明和两种对比方法对lemming序列的目柄；轮廓跟踪对比；
[0031] 图12是本发明和两种对比方法对lemming序列的跟踪精度对比。
【具体实施方式】
[0032] 下面结合附图对本发明的【具体实施方式】进行描述，W便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在W下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，运些描述在运里将被忽略。
[0033] 图1是本发明基于水平集的在线目标轮廓跟踪方法的【具体实施方式】流程图。如图1 所示，本发明基于水平集的在线目标轮廓跟踪方法包括W上步骤：
[0034] SlOl:在线初始化：
[0035] 本发明中采用了基于判别式表观模型的水平集轮廓跟踪与目标检测器，因此在线 初始化的内容包括判别式分类器的初始化、水平集函数的初始化和分类器的初始化。并且 由于本发明中需要应对目标消失的情况，在目标消失阶段不者水平集轮廓跟踪，因此需要 设置一个水平集轮廓跟踪标志A。图2是初始化示意图。如图2所示，在线初始化具体方法为： 在视频图像的第一帖目标图像中，手动标定初始目标轮廓Cint,设置水平集轮廓跟踪标志A =1。根据初始目标轮廓Cint来初始化判别式分类器和水平集函数，根据初始目标轮廓Cint的 外接矩形来初始化目标检测器。下面分别对各个初始化过程进行详细描述。
[0036] ?判别式分类器初始化：
[0037] 判别式分类器用于产生引导初始轮廓向目标边沿进化的目标附近区域的置信图。 因此，将初始目标轮廓Cint内的像素点作为正样本，记为集合巧+，初始目标轮廓Cint外的像 素点作为负样本，记为集合巧^，提取每个像素点的特征向量与对应的样本类别标签(一般 Wl表示正样本、-1表示负样本），将像素点的特征向量作为输入，对应的标签作为输出，对 判别式分类器进行训练。
[0038] 本实施例中，像素点的特征向量采用HSI巧ueSaturationIntensity，色调、饱和 度、亮度)特征和LBP(Lc)CalBinaryPattern，局部二值模式)特征构成的4维向量，判别式分 类器采用SVM( SuppodVectorMachine,支撑向量机)分类器。对于SVM分类器，其核函数的选 择很重要，本实施例中选择径向基(RB巧核为SVM分类器的核函数。
[0039] ?水平集函数初始化
[0040] 水平集方法是利用一个更高一维的水平集函数的等值曲线来隐含地表示闭合曲 线的方法。设图像区域Q GR2,（x，y)为区域内的像素点，在任意时刻t，令水平集函数为 .取(X，，运动界面CU)是梦(X，糾)的零等值面，可W用下式表达：
[0041]
[0042] 水平集函数是像素点到界面(Xt)=O的符号距离，即：
[0043]
[0044] 其中Rin(t)和Rout(t)分别代表轮廓C(t)的内部区域和外部区域，d(x，y，C(t))是从 像素点（x，y)到轮廓C(t)的最短欧氏距离。通过运样的定义，要找到轮廓只需要找到 Ievelsets函数值为0对应的点即可。
[0045] 根据W上描述可知，在进行水平集初始化时，将初始目标轮廓Cint内区域的水平集 置为-1，将轮廓外区域的水平集置为1，得到初始水平集。
[0046] ?目标检测器初始化
[0047] 目标检测器的目的是对视频图像中的目标进行检测。在实际应用中，可W根据视 频图像的特点来确定目标检测器的具体实现方式。现有技术中的目标检测器主要是采用基 于局部的图像特征域者扫描窗口方法来实现目标检测，而基于特征的算法需要事先获得目 标的几何特征，不适合在线跟踪未知目标。因此本发明采用基于扫描窗口的目标检测器，利 用初始目标轮廓Cint的外接矩形提取正负样本，对目标检测器进行初始化。
[004引本实施例中所采用的目标检测器由多级分类器级联构成，包括方差分类器、集合 分类器和最近邻分类器。由于方差分类器的分类标准为预设的方差阔值，无需进行初始化 训练，而集合分类器和最近邻分类器需要通过正负样本来进行初始化训练。
[0049] 集合分类器和最近邻分类器的负样本的获取方法为:在第一帖目标图像中获取所 有扫描窗口，选择与初始目标轮廓Cint的外接矩形距离小于预设阔值的扫描窗口，计算每个 扫描窗口与初始目标轮廓Cint的外接矩形的重叠度，将扫描窗口按照重叠度从大到小进行 排序，选择重叠度最大的扫描窗口作为最优矩形框bbest，其后Kl个扫描窗口作为较好矩形框 bgDDd，Kl的大小可W根据实际情况设置，其余作为不好矩形框bbad，将最优矩形框bbest进行尺 寸归一化作为为最近邻分类器的正样本，将A个较好矩形框进行几何变换得到若干个仿射 矩形框，并进行加噪处理，作为集合分类器的正样本。本实施例中，几何变换采用偏移、比例 缩放和平面旋转，所叠加噪声为方差为5的标准高斯噪声。
[0050] 集合分类器和最近邻分类器的负样本的获取方法为:在初始目标轮廓Cint的外接 矩形之外的扫描窗口中，采用方差分类器筛选方差大于方差阔值的矩形框，作为集合分类 器的负样本。随机选取K2个不好矩形框bbad，K2的大小可W根据实际情况设置，尺寸归一化后 作为最近邻分类器的负样本。
[0051] 根据W上方法取得正、负样本后，对本实施例目标检测器的集合分类器和最近邻 分类器进行初始化训练。
[0052] S102:对于视频图像中的待跟踪的第t帖图像，判断是否水平集轮廓跟踪标志A = 1，如果是，进入步骤S103，否则直接进入步骤S104。
[0053] S103:基于判别式表观模型的水平集轮廓跟踪：
[0054] 对于待跟踪的第t帖图像，首先提取每个像素点的特征向量，采用判别式分类器进 行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，则将其置信图对应的像 素点标记为1，反之标记为-1，从而得到置信图Iconf。将置信图Iconf代入水平集方法的轮廓进 化方程，将初始目标轮廓Cint作为初始值进行轮廓进化，得到第t帖图像中目标的轮廓结果 Ct。然后进入步骤S104。
[0055] 基于主动轮廓的跟踪实际上是一个不断迭代的过程，初始轮廓在某些能量场的作 用下进化到所要跟踪的物体的边缘处。根据文献"Regioncompetition: unifyingsnakes , re邑ion邑rowin邑，ener邑y/bayes/MDLformultiband ima邑ese邑mentation''，^?；?{歹|J中?用 的水平集能量函数如下：
[0化6]
[0057]其中，V(X)是像素点X的值，QdW、Qbck分别表示前景区域和背景区域，第一项是当 前轮廓的概率，第二项是平滑项，A是平滑因子，C是轮廓。文献中得出，函数演化公式为：
[0化引
[0化9]其中，At是控制速度的参数，k是轮廓的曲率，|V^_i|是前一时刻水平集的梯度，直 接将置信图Iwnf代入到上式即可得到水平集进化方程为：
[0060]
[0061 ]运样，当前帖的初始轮廓Cint进化成轮廓结果Ct。
[0062] S104:目标检测：
[0063] 对于视频图像中的第t帖待跟踪图像采用目标检测器进行检测，得到检测结果Dt。
[0064] 本实施例中的目标检测器是由差分分类器、集合分类器和最近邻分类器组成的级 联分类器。目标检测器是基于扫描窗口的。对于一个240 X 320的图像，假设缩放比例的步长 系数为1.2,水平步长系数为宽度的10%，垂直步长系数为高度的10%，最小的矩形框大小 为20个像素，运样就得到大约50000个矩形扫描窗口。只有顺利通过前一个模块的扫描窗口 才能进入下一个模块。具体过程如下：
[0065] 1)差分分类器:计算每个扫描窗口的积分图并用高斯模糊去噪，利用积分图计算 方差，把方差小于阔值的扫描窗口排除，保留方差大于阔值的扫描窗口；
[0066] 2)集合分类器:集合分类器中包含若干个分类器，扫描窗口通过每个分类器会得 到一个二值编码。因此通过差分分类器的每个扫描窗口经集合分类器可W得到由多个二值 编码构成的特征值，再计算该特征值对应的后验概率累加值，保留后验概率累加值大于 50%的扫描窗口，如果保留的扫描窗口数大于100个，则只取后验概率大的前100个；
[0067] 3)最近邻分类器:将扫描窗口进行尺寸归一化，归一化至正负样本相同大小，计算 归一化后扫描窗口到正负样本之间的距离cr、cT，最后计算当前扫描窗口包含目标的相似度 S = d7(cr+cT)。运样每一个扫描窗口都被赋予一个表示该窗口包含目标的相似度的S值。如 果相似度5>1"。，则认为当前窗口含有目标，保留该扫描窗口，否则排除该扫描窗口。根据经 验值设置相似度阔值Tnn = O . 6。根据实验观察，相似度阔值Tnn取0 .巧IjO . 7之间，效果较好。
[0068] 4)分层聚类:根据重合度将最近邻分类器得到的扫描窗口分为不同子集，将子集 内扫描窗口进行平均得到平均检测框，其可信度为子集内可信度最大的扫描窗口的可信 度。从所有平均检测框中选择可信度最高的作为检测器的最终检测结果Dt。
[0069] S105:可靠性判定：
[0070] 由于本发明中得到两个目标结果:轮廓结果Ct和检测结果Dt,为了得到较为准确的 跟踪结果，需要分别计算轮廓结果Ct和检测结果Dt的可靠度Pc、Pd，如果轮廓结果Ct或检测结 果Dt不存在，则对应可靠度为0。在现有技术中已经存在多种目标结果可靠度的算法，可W 根据需要来进行选择，目前较为常用的是采用重叠度作为可靠度。
[0071] 在视频图像的目标跟踪中，目标在连续两帖图像中的形状及位置不会发生太大变 化，因此本实施例提出通过计算重叠度和质屯、偏移度来评估轮廓结果或检测结果的可靠 度。
[0072] Ain表示需要计算可靠度的目标结果，则重叠度Aswre的计算如下式所示：
[0073]
[0074] 由上式可见，本发明中采用的重叠度是指轮廓结果或者检测结果与当前帖图像的 初始轮廓Cint的重合程度。
[00对计算目标结果Ain的质屯、Ml与初始目标轮廓Cint的质屯、M2的距离Mdis，质屯、偏移度 Mscore的计算公式为：
[0076]
[0077] 其中，L表示视频图像对角线的长度。
[007引由质屯、偏移度Mscore的计算公式可知，Mdis越小，质屯、偏移度就越小，Mscore越大。
[00巧]将重叠度Asenre和质屯、偏移度Msenre进行加权求和，得到目标结果的可靠度P，可靠 度P的计算公式为：
[0080] P = aAscore+(l-a)Mscore
[0081] 其中，a表示权重系数，根据实际需要设置，其取值范围为〇<a《l。
[0082] 当可靠度P大于可靠度阔值Tp时，则认为当前跟踪或检测结果是可靠的。
[0083] S106:得到目标跟踪结果：
[0084] 本发明中，基于判别式表观模型的水平集轮廓跟踪和目标检测器同时运行，分别 得到一个轮廓结果Ct和检测结果Dt,本发明需要将二者统一于轮廓跟踪过程。由于轮廓结果 Ct和检测结果Dt存在可靠或不可靠两种可能，组合起来有四种情况，提取最终目标跟踪结果 C和设置下一帖的初始目标轮廓Cint在运四种情况下也对应不同的处理方式。表1是目标跟 踪结果和初始目标轮廓的不同处理方式。
[0085]
[00化]表1
[0087] 其中，C+表示轮廓结果Ct可靠，[表示轮廓结果Ct不可靠;D+表示检测结果Dt可靠， D-表示检测结果Dt不可靠。
[0088] 如表1所示，只要轮廓结果Ct是可靠的，则将Ct作为最终轮廓跟踪结果C .并令初始 目标轮廓Cint = Ct,水平集轮廓跟踪标志A=I;当轮廓结果不可靠而检测结果可靠时，不存 在最终轮廓跟踪结果A，检测器的结果Dt用于作为下一帖的初始轮廓，即令初始目标轮廓 Cint = Dt,水平集轮廓跟踪标志A=I;当轮廓结果和检测结果均不可靠时，不存在最终轮廓 跟臣示结果G ,令水平集轮廓跟掠柄志A = 0。
[0089] S107:在线更新：
[0090] 与初始化一样，本发明中的在线更新也包括=个部分的更新。
[0091] ?判别式分类器更新
[0092] 当轮廓结果Ct和检测结果Dt都可靠时，求取跟踪结果(6,与检测结果Dt的交集，其中 的像素点作为正样本，即护=。《。拍riA);负样本取为并集外的像素点，即片-4U， 其中Q为第t帖图像。判别式分类器的样本池包括两部分，一部分是第一帖图像中手动标定 的初始目标轮廓所获得的初始样本，即集合巧 +和巧^，另一部分是在线更新的动态样本。在 样本更新时只对动态样本进行更新，在保存动态样本的同时为每个样本记录对应轮廓结果 Ct的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的时候保留权值大的 正负样本，淘汰权值小的正负样本。采用初始样本和更新后的动态样本构成的新的样本池 重新训练判别式分类器。
[0093] ?水平集函数更新
[0094] 如果初始目标轮廓Cint被更新，则采用当前的初始目标轮廓Cint重新初始化水平集 函数。
[OOM] ?目标检测器更新
[0096] 当轮廓结果Ct和检测结果Dt都可靠时，对轮廓结果Ct的最大外接矩形与检测结果 Dt进行平均得到平均矩形框bavg，根据平均矩形框bavg获得第t帖图像中的目标区域图像，采 用该目标区域图像对目标检测器进行重新训练。
[0097] 目标检测器性能通过在线更新，其识别性能得到提高。一般来说，不同的目标检测 器其更新方式也有所不同，本实施例中的目标检测器由差分分类器、集合分类器和最近邻 分类器组成的级联分类器，其更新方法为:先将目标区域图像归一化，计算归一化后图像块 的方差和相似度(相似度由最近邻分类器获得），如果方差或/和相似度不满足阔值要求，贝U 不采用该目标区域图像对目标检测器进行更新，否则对目标检测器进行更新，其更新训练 的过程通过用P-N约束来识别出与正样本相似度高的负样本(即易误分为正样本的负样本） W及与负样本相似度高的正样本（即易误分为负样本的正样本KP-N约束的具体方法可W 参考文南犬('Z.Kalal,J.Matas,and K-Mikolajczyk,('P-N Learnin邑：Bootstrappin邑 Binary Classifiers by Structural Constraints /' Conference on Computer Vision and Pattern Recognition,2010"。
[0098] =个部分更新完毕后返回步骤S102对下一帖图像进行目标轮廓跟踪，直到视频结 束或收到结束跟踪指令。如果更新条件不满足，S个部分都不进行更新，则直接返回步骤 S102〇
[0099] 实施例
[0100] 为了说明本发明的技术效果，采用本发明对实际的视频图像进行实验验证，所采 用的对比方法包括基于判别式表观模型的水平集(1 eve 1 set)方法和广泛流行的GVF+Snake 主动轮廓模型，用跟踪精度来衡量它们的跟踪性能。定义跟踪精度Tscore为：
[0101]
[0102] 其中，Q为当前第t帖图像的跟踪结果，Cgrd为基准(真实)轮廓。
[0103] 采用本发明和两种对比方法分别对五个视频序列进行目标轮廓跟踪。五个视频序 列包括:toy序列，跟踪目标为红色玩偶;hi曲way序列，跟踪目标为红色汽车;S化pier序列， 跟踪目标为订书机;nemo序列，跟踪目标为游动的鱼；lemming序列，跟踪目标为悬空运动的 玩偶。
[0104] 图3是本发明和两种对比方法对toy序列的目标轮廓跟踪对比。图4是本发明和两 种对比方法对toy序列的跟踪精度对比。如图3和图4所示，在运种背景单一、目标简单的情 况下，本发明和两种对比方法的效果差别不是很大。在第331帖，出现运动模糊的情况，本发 明的方法明显比另外两种方法鲁棒性更好。
[0105] 图5是本发明和两种对比方法对M曲way序列的目标轮廓跟踪对比。图6是本发明 和两种对比方法对highway序列的跟踪精度对比。如图5和图6所示，由于hi曲way序列视频 中目标尺度越来越小，原始的基于判别式的level方法在第43帖丢失目标，GVF方法在第48 帖丢失，而本发明的方法未丢失目标，表明了本发明方法在目标尺度变小的场景能获得更 佳的跟踪效果。
[0106] 图7是本发明和两种对比方法对stapler序列的目标轮廓跟踪对比。图8是本发明 和两种对比方法对Stap I er序列的跟踪精度对比。如图7和图8所示，在S tap I er序列中，当订 书机与颜色相近的背景相遇时，本发明的方法受背景干扰的程度比另外两种对比方法受干 扰的程度低很多。说明本发明方法通过选取合适特征及在线更新模型，使得该方法对背景 颜色干扰具有更高的鲁棒性。
[0107]图9是本发明和两种对比方法对nemo序列的目标轮廓跟踪对比。图10是本发明和 两种对比方法对nemo序列的跟踪精度对比。如图9和图10所不，在nemo序列中，鱼的白色条 纹与白色部分背景有些相似，同时，鱼在游动过程中，发生很大的形状变化。由于SVM分类器 与检测器都具有在线学习的能力，在跟踪过程中不断学习，使本发明方法对目标形状变更 有鲁棒性。在第430帖左右，由于发生了局部遮挡情况，=种方法都不能很好地表述目标形 状轮廓。
[010引图11是本发明和两种对比方法对lemming序列的目标轮廓跟踪对比。图12是本发 明和两种对比方法对lemming序列的跟踪精度对比。如图1巧日图12所不，在lemming序列中， 序列的背景比较复杂，但目标颜色和背景颜色差别大，GVF+Snake方法不如本发明方法和原 始的基于表观模型的level set方法。在第460帖附近，目标出现局部遮挡至逐渐消失，在第 480帖附近目标又逐渐出现，本发明通过检测器重新恢复了跟踪，而其他两种方法都跟踪失 败。说明本发明方法能在目标消失后又重新出现时恢复跟踪，实现了长期的目标轮廓跟踪。 [0109]尽管上面对本发明说明性的【具体实施方式】进行了描述，W便于本技术领域的技术 人员理解本发明，但应该清楚，本发明不限于【具体实施方式】的范围，对本技术领域的普通技 术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，运些 变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
【主权项】
1. 一种基于水平集的在线目标轮廓跟踪方法，其特征在于，包括以下步骤： SI:在视频图像的第一帧目标图像中，手动标定初始目标轮廓Cint，设置水平集轮廓跟 踪标志A= 1;根据初始目标轮廓Cint来初始化判别式分类器和水平集函数，根据初始目标轮 廓Cint的外接矩形来初始化目标检测器； S2:如果水平集轮廓跟踪标志A= 1，进入步骤S3，否则进入步骤S4; S3:对视频图像中的第t帧待跟踪图像进行基于判别式表观模型的水平集轮廓跟踪，具 体方法为:对于视频图像中的待跟踪的第t帧图像，首先提取每个像素点的特征向量，采用 判别式分类器进行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，则将其 置信图对应的像素点标记为1，反之标记为-1，从而得到置信图I ranf;根据置信图I_f进行水 平集进化，得到目标图像的轮廓结果Ct;进入步骤S4; S4:对于视频图像中的第t帧待跟踪图像采用目标检测器进行检测，得到检测结果Dt; S5:分别计算轮廓结果Ct和检测结果Dt的可靠度P。、Pd，如果轮廓结果Ct或检测结果D t不 存在，则对应可靠度为O;如果PC>TP，Tp表示预设的可靠度阈值，则判定轮廓结果C t可靠，否 则轮廓结果Ct不可靠;如果Pd>TP，则判定检测结果D t可靠，否则检测结果Dt不可靠； S6:只要轮廓结果Ct是可靠的，则将Ct作为最终轮廓跟踪结果?，并令初始目标轮廓C int = Ct，水平集轮廓跟踪标志A=I;当轮廓结果不可靠而检测结果可靠时，不存在最终轮廓跟 踪结果<，令初始目标轮廓Cint = Dt，水平集轮廓跟踪标志A = 1;当轮廓结果和检测结果均 不可靠时，不存在最终轮廓跟踪结果(?，令水平集轮廓跟踪标志A = O; S7:当轮廓结果Ct和检测结果Dt都可靠时，对判别式分类器进行更新，更新方法为:求取 跟踪结果(^与检测结果Dt的交集，其中的像素点作为正样本，之外的像素点作为负样本;将 正样本和负样本加入判别式分类器的动态样本，在保存动态样本的同时为每个样本记录对 应轮廓结果Ct的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的时候保 留权值大的正负样本，淘汰权值小的正负样本;采用新的样本池重新训练判别式分类器； 如果初始目标轮廓C int被更新，则采用当前的初始目标轮廓Cint重新初始化水平集函 数； 当轮廓结果Ct和检测结果Dt都可靠时，对轮廓结果Ct的最大外接矩形与检测结果D t进行 平均得到平均矩形框bavg，根据平均矩形框bavg获得第t帧图像中的目标区域图像，采用该目 标区域图像对目标检测器进行重新训练； 更新完毕后返回步骤S2对下一帧图像进行目标轮廓跟踪。2. 根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述判别式分类器采用 SVM分类器。3. 根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述目标检测器是由差 分分类器、集合分类器和最近邻分类器组成的级联分类器。4. 根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述步骤S5中可靠度的 计算方法为： 计算轮廓结果或检测结果的重叠度，计算公式为：其中，Ain表示需要计算可靠度的目标结果； 计算质心偏移度MsCOTf3，计算公式为：兵ψ，Mdis衣不曰f不结米Ain旳质心与初始目标轮廓Cint的质心的距离，1表示视频图像对 角线的长度； 可靠度P的计算公式为： P = aAs cor e+( l-a)Ms core 其中，a表示权重系数。
【文档编号】G06T7/00GK106023155SQ201610303510
【公开日】2016年10月12日
【申请日】2016年5月10日
【发明人】周雪, 何建, 石竟, 邹见效, 徐红兵
【申请人】电子科技大学