适用于夜间场景下的基于特征融合的自适应目标跟踪方法
【技术领域】
[0001 ]本发明涉及视频监控与模式识别技术领域，特别涉及一种通用的视觉目标跟踪方 法。
【背景技术】
[0002] 在视频监控与模式识别领域中，有许多需要在夜间场景下对目标进行跟踪，之前 的方法更多的是利用单一特征进行跟踪，由于在夜间场景下，单特征肯定会存在不稳定的 情况，使得其在此种情况下很容易发生跟踪失败。
【发明内容】
[0003] 本发明的目的是提出一种能解决夜间场景下的目标跟踪问题的适用于夜间场景 下的基于特征融合的自适应目标跟踪方法。
[0004] 本发明包括以下步骤： 1) 利用帧差法求得目标区域的前景图像，并分别求目标区域的H0G、LBP和颜色直方图 特征，再将三种特征按相同权值进行合并，建立初始化特征模型； 2) 利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧;选取粒子滤波初始化 跟踪中的有效帧，建立目标的特征空间； 3) 对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分的差 异，根据差异的大小，确定每个特征在当前帧的不变性强度； 4) 通过各特征不变性的强弱调整权值，更新特征模型，并完成跟踪； 5) 利用IPCA，自适应的更新目标的特征空间； 6) 回到步骤4)进行下一帧的跟踪。
[0005] 本发明主要通过多特征融合的方法，对多种特征进行分析，寻找并强化具有强不 变性的特征，使其主导跟踪，防止目标因周围干扰产生"漂移"而导致跟踪失败。
[0006] 本发明与目前国内外发表的最新的方法相比具有几个明显优点：1)利用目标特征 不变性进行跟踪，可以很大程度上解决目标丢失问题，特别适用于夜间跟踪。2)通过自适应 的方法对特征空间进行更新，可以防止跟踪中漂移问题的发生，适合长时间的跟踪。3)该方 法可以达到实时的速度，具有实用价值。
[0007] 本发明优先解决了夜间场景下的目标跟踪问题。
【附图说明】
[0008] 图1为本发明的技术流程图。
【具体实施方式】
[0009] 本发明的思想要点是：1)计算目标的各特征的不变性，选取不变性强的特征来主 导目标的跟踪过程，使得目标在跟踪过程中不容易丢失。2)利用IPCA方法实现自适应的对 目标特征空间的更新，保证目标不会因为形变或相似干扰而跟丢。3)IPCA在提取主要特征 的同时，可以实现实时的更新，满足跟踪的实时性要求，使得算法可以进行实时跟踪。
[0010]本发明的整个技术方案流程如附图1所示，下面对发明中所涉及到的技术细节予 以说明。
[0011] 1.利用帧差法求得目标区域的前景图像。分别求目标区域的H0G、LBP和颜色直方 图特征，并将三种特征按相同权值进行合并，建立初始化特征模型。
[0012]首先，通过帧差法计算帧间的目标区域的变化，得到运动前景图像。
[0013]之后，分别计算目标区域的H0G，LBP和颜色直方图特征。目标区域的H0G是沿用 Dalai的方法（N. Dalai and B. Triggs, "Histograms of oriented gradients for human detection," in Computer Vision and Pattern Recognition, vol. 1，pp. 886-893，IEEE, 2005. XLBP特征则采用3bit的LBP特征，用来计算像素点周围8个点和像 素点本身之间的大小区别，形成一个3bit的值。颜色直方图特征则采用HSV颜色表达，将Η通 道分成8个bin，同时删除其中S通道值过小的像素，即像素值过暗的点，因为在实际跟踪过 程中，由于光照变化，过暗的点对目标跟踪的意义并不是很大，特别是在夜间跟踪中。
[0014] 在得到三种特征之后，利用下式，将三种特征融合，形成目标的完整的特征模型。
[0015] fi表示第i种目标子特征，这里n=3，即只用了HOG、LBP和颜色直方图三种子特征。
[0016] 2.利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧;选取粒子滤波初 始化跟踪中的有效帧，建立目标的特征空间。
[0017] 对于最初始几帧，由于目标的特征空间尚未建立，因而不能直接开始更新目标的 特征模型。所以，本发明采用粒子滤波的方法，对目标进行初始化跟踪，利用得到的跟踪结 果建立初始化的目标特征空间。
[0018] 在第一帧，对目标区域利用步骤1计算其目标特征，在目标周围散下η个粒子(这里 η=60)，作为下一帧目标可能运动到的候选区域。计算每个粒子所在区域的H0G、LBP和颜色 直方图特征，并利用初始的特征模型得到每个粒子的融合后的特征。之后，利用 Bhattacharyya距离，统计每个粒子与实际目标之间的相似度。
[0019] 其中
表示每个粒子的融合后的特征，#表示实际的目标特征。
[0020] 从第二帧开始，通过前一帧得到的每个粒子的相似度计算粒子的权重。并对所有 粒子集合进行归一化处理。根据归一化后粒子的不同权重，对粒子进行重新采样。同时利用 上式计算出重新采样后的粒子与上一帧目标之间的相似度，并对所有粒子的位置进行加 权，计算出最终的目标位置。
[0021 ]利用以上粒子滤波方法对目标进行初始跟踪，由于粒子滤波在短时间内一般不容 易跟丢，所以这里我们仅跟踪20帧。同时，在建立目标特征空间时，为了克服目标的刚性形 变所产生的干扰，我们对每帧图像进行尺度和旋转变换，尺度5种{0.25，0.5，1，2，4}，旋转5 种{-10°，-5°，0°，5°，10° }，即一帧图像共产生25张目标图像。我们利用这20帧目标图像所 产生的500张图像生成目标的初始特征空间。
[0022] 3.对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分 的差异，根据差异的大小，确定每个特征在当前帧的不变性强度。
[0023] 该步主要是用来计算每个特征在当前帧中的不变性的强度，即用来更新步骤一特 征模型中每个子特征的权重。对于每一个子特征，提取初始20帧的500张图像的该子特征， 得到一定数量的初始样本。
[0024] 这里，Q为图像数量，Q=500，D为每种子特征的维度，这里D=256(需保证D〈Q)。
[0025] 利用主成分分析(PCA)得到目标该子特征的初始特征向量。
[0026] 之后进行一定的降维处理，以去除噪声影响。
[0027] 这里，是降维阈值，我们选择#=0.9。得到降维后的特征向量和对应的特征值。 此时的特征向量V即为我们需要的子特征的特征空间。
[0028] 对新的一帧，计算其子特征在特征空间上的投影，得到对应的投影向量。
[0029] 通过比较特征值A和投影向量Γ的相似性，来确定该子特征在新的一帧中的不变 性的强度，从而来调整其对应的权重。
[0030] 同时，在计算完权重之后，利用增量式主成分分析（IPCA)，即下式，对该子特征的 特征空间中的所有特征向量进行更新，得到新的特征空间。
[0031] 其中《为更新速度，将在步骤五中做以介绍。4为新的第t帧的特征，Hi-Ι)为之 前t-Ι帧时的特征向量，V(0)=U。
[0032] 4.通过各特征不变性的强弱调整权值，更新特征模型。
[0033] 在得到每个子特征的不变形强度其^之后，利用下式对每个子特征的权重进行调 整，并同时进行归一化操作。
[0034] 这里为第t+1帧的归一化前的权重，为归一化后的更新的权重。
[0035] 在得到更新后的完整的特征模型之后，对当前帧进行目标跟踪。这时的跟踪，我们 还是采用步骤一的粒子滤波跟踪来完成，只是跟踪的特征模型从步骤一的初始模型变成了 权重更新后的特征模型。具有较高不变性的子特征，在跟踪中将占更大的比重，发挥更大的 作用。
[0036] 5.利用IPCA，自适应的更新目标的特征空间。
[0037] 在粒子滤波中，每个粒子都有相应的权重。本发明利用主要粒子的平均权重来表 示当前跟踪结果的置信度，并利用此置信度来更新IPCA的更新速率《。从而在下一帧中算 法可以自适应的更新目标的特征空间。
[0038]
【主权项】
1.适用于夜间场景下的基于特征融合的自适应目标跟踪方法，包括以下步骤： 1) 利用帧差法求得目标区域的前景图像，并分别求目标区域的HOG、LBP和颜色直方图 特征，再将三种特征按相同权值进行合并，建立初始化特征模型； 2) 利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧；选取粒子滤波初始化 跟踪中的有效帧，建立目标的特征空间； 3) 对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分的差 异，根据差异的大小，确定每个特征在当前帧的不变性强度； 4) 通过各特征不变性的强弱调整权值，更新特征模型，并完成跟踪； 5) 利用IPCA，自适应的更新目标的特征空间； 6) 回到步骤4)进行下一帧的跟踪。
【专利摘要】适用于夜间场景下的基于特征融合的自适应目标跟踪方法，涉及视频监控与模式识别技术领域，本发明主要通过多特征融合的方法，对多种特征进行分析，寻找并强化具有强不变性的特征，使其主导跟踪，防止目标因周围干扰产生“漂移”而导致跟踪失败。
【IPC分类】G06T7/20
【公开号】CN105654510
【申请号】
【发明人】黄凯奇, 康运锋, 陈威华, 李大一, 瞿世鲲
【申请人】江苏精湛光电仪器股份有限公司, 中国科学院自动化研究所
【公开日】2016年6月8日
【申请日】2015年12月29日