基于聚类子区域关联的稳定特征挖掘和目标跟踪方法
【技术领域】
[0001] 本发明涉及一种基于聚类子区域关联的稳定特征挖掘和目标跟踪方法，属于视频 图像处理技术领域。
【背景技术】
[0002] 目标的视觉特征建模是目标识别和跟踪领域的关键技术之一。目前国内外学者主 要关注的问题集中在目标姿态和尺度变化、场景光照变化和场景干扰等情况下的目标特征 模型的鲁棒性、准确性提高上。
[0003] 基于目标内容信息的特征描述方法自报道以来，国内外均不断有改进该路线的专 利报道，归结大致有三类:1、基于目标自身空间特征信息的描述方法改进;2、融合目标自身 空间特征和场景空间信息的描述方法改进;3、融合目标自身空间特征、场景空间和时序信 息的描述方法改进。
[0004]通常基于目标自身空间特征的目标模型利用目标独特的内容或结构信息，如色 彩、边缘和形状上下文特征等进行描述，在增强目标描述力同时，描述算法的复杂度直接影 响目标识别和跟踪系统效率。采用聚类算法以降维色彩空间能有效提高目标外观色彩内容 信息的描述效率，但通常聚类结果受聚类数和初始聚类中心等因素影响，导致聚类结果不 稳定性。Bhatia A等在the North Carolina State University博士学位论文 "Hierarchical Charged Particle Filter for Multiple Target Tracking"（2011:21-37)中，采用类数自适应的DBSCAN算法聚类目标外观，并通过引入色彩相似度阈值将聚类过 程限制在二维坐标空间，以改善聚类效率。但是当类密度和类间距不均匀时，DBSCAN将面对 类数目增加、邻帧间对应目标局部区域聚类效果不稳定等问题，导致目标定位精度不高。 [0005]目标所处场景的空间和时序上下文信息能在目标尺度和姿态变化、场景干扰等情 况下，为目标识别和跟踪性能的提高提供额外观测支持。文献报道了多种基于场景上下文 协作的目标描述和跟踪方法。不同方法针对各自的目标对象，均可优化选择适合协作描述 的辅助目标及其特征参数、多观测支持融合算法以提高跟踪效率。如挖掘多辅助目标算法、 目标支持者学习算法等。Yang Μ等在IEEE Trans on Pattern Analysis and Machine Intelligence(2009,31(7): 1195-1209)发表的文章"Context-Aware Visual Tracking"首 次提出在线自动挖掘多辅助目标以协作提供额外测量值的思想，利用Mean shift选择与 历史图像中具有高共生频率的片段区域作为候选辅助目标，并对被跟踪目标和辅助目标建 立相同的仿射运动观测模型，在混乱和遮挡场景单目标跟踪中取得良好跟踪效果。该方法 主要以目标局部区域为跟踪对象，辅助目标来自目标体的其它部位或场景中其它目标，若 跟踪较大目标、目标整体或多目标，挖掘和多观测融合决策过程势必影响跟踪实时性。
[0006]从连续帧间目标外观尺度、姿态或光照渐变的规律上看，短时间内目标体的一些 局部区域特征具有直接反映这种渐变规律的能力。通常基于增量计算的自适应模型更新方 法，如参考模型与最佳候选模型的线性加权更新、子空间增量学习和更新、滤波更新等大多 是基于这样的机理。Jahandide Η等在Pattern Recognition Letters(2012,33(16) :2192- 2197)发表的文章 "A Hybrid Motion and Appearance Prediction Model for Robust Visual Object Tracking"中利用KF(Kalman Filter)对目标外观色彩分布(每个色彩类质 心）进行预测，具有良好光照适应性能，相对于逐像素色彩或逐色彩箱格(bin)分配一个KF 进行更新的已有方法，明显降低了计算量。但是目标外观尺度和姿态等变化可能会引起部 分色彩类质心位置变化规律不一致，引起更新误差。从我们的跟踪实践看，挖掘数量较少但 却稳定的色彩类或色彩子区域，并据此获得高可靠度的模型增量，有利于提高模型更新和 目标轨迹定位的准确性和效率。
【发明内容】
[0007] 目的：为了克服现有技术中存在的不足，本发明提供一种基于聚类子区域关联的 稳定特征挖掘和目标跟踪方法，根据目标运动区域的V(Value)色彩分量直方图峰轮廓的确 定区域峰数目和残余峰能量自适应获得聚类数，并利用K-means聚类目标区域的S (Saturation)和V色彩，在降维色彩空间同时，提高聚类区域分布的可控制性;对目标建立 基于类的连通子区域模板、观测模型和增量模型描述，同时建立目标模板和当前观测模型 间子区域关联，以挖掘"模板-观测"稳定子区域特征对及模板特征变化率;融合各稳定子区 域位移获得目标当前轨迹，并根据模板稳定特征的加权平均增量变化率逐帧更新目标模 板，提高稳定特征挖掘和轨迹跟踪的对目标外观变化和场景干扰的自适应性能。
[0008] 技术方案:为解决上述技术问题，本发明采用的技术方案为：
[0009] 步骤一:基于自适应背景差分和背景更新，检测目标运动区域，提取该区域的V色 彩分量直方图峰轮廓，并利用中值滤波平滑不重要的峰;根据相邻峰间V色彩差分阈值条件 计算候选峰和区域峰，并根据确定区域峰数目和余峰能量，获得聚类数。
[0010] 步骤二:构建目标区域运动像素的S和V色彩矩阵，并进行K-means聚类;根据像素 坐标与上述色彩矩阵行间对应关系，重构聚类结果图像。
[0011] 步骤三:查找对应每个类的4或8邻域连通子区域，并编号和标记形心位置;建立基 于子区域形心、面积、平均色彩特征的模板、观测模型，以及基于面积变化率和色彩变化率 的增量模型描述。
[0012] 步骤四：根据目标模板与当前观测模型子区域间形心、面积和平均色彩距离阈值， 挖掘具有关联对应的稳定子区域，获得"模板-观测"子区域稳定特征对，以及模板特征变化 率。
[0013] 步骤五:利用稳定子区域面积加权对应子区域形心位移，获得当前帧目标位移，再 融合当前检测区域中心和上一帧轨迹，获得目标当前轨迹;通过面积加权融合稳定子区域 特征变化获得模板平均增量及其变化率，以逐帧更新目标模板。
[0014] 有益效果:本发明提供的基于聚类子区域关联的稳定特征挖掘和目标跟踪方法， 首先，根据目标运动区域的V色彩分量直方图峰轮廓的确定区域峰数目和残余峰能量获得 聚类数，有利于实现自适应K-means聚类，并使得连续帧序列中的目标聚类区域分布可控 制，有效突出目标外观结构;利用目标区域S和V色彩分量变化独立性特点进行聚类，不需要 事先判断H(Hue)色彩信息，有助于进一步提高聚类效率和自适应性。
[0015] 其次，建立基于类的目标连通子区域模板、观测模型和增量模型描述，将目标描述 细化到局部特征及其增量变化，有利于在目标尺度和姿态变化、场景干扰等情况下，利用部 分稳定子区域观测和增量模型，获得可靠的目标运动轨迹和模型更新依据;通过关联目标 模板和当前观测模型间子区域，挖掘"模板-观测"局部稳定特征对及模板特征变化率，使跟 踪过程不受初始质心随机性引发的聚类结果不稳定的影响，提高了跟踪鲁棒性和准确性。
[0016] 第三，加权融合各稳定子区域位移获得目标当前位移，赋予面积较大的子区域较 大的位移表决权，有利于抑制目标边缘处稳定小区域由于误关联引入的计算误差、降低时 耗和提高目标定位精度;根据稳定特征平均增量变化率逐帧更新目标模板，使不稳定子区 域的特征参数在无法获得自身对应的子区域特征对和增量变化率时，也可实现自更新，有 利于提高稳定特征挖掘和轨迹跟踪的对目标外观变化和场景干扰的自适应性。
[0017] 本发明实现了目标外观变化和场景干扰等情况下的目标稳定特征挖掘和轨迹跟 踪，提高了跟踪鲁棒性、准确性和实时性。在视频图像处理领域具有广泛的应用前景，应用 于智能视频监控、视频图像理解和工业视觉伺服控制等领域。
【附图说明】
[0018] 图1为本发明的工作流程图；
[0019] 图2为本发明实施例的自适应背景差分检测到的目标运动区域图；
[0020] 图3为本发明实施例的V色彩分量直方图轮廓中值滤波后的结果图；
[0021 ]图4为本发明实施例的视频序列230帧和239帧的原图和目标运动区域的自适应K-means聚类结果图；
[0022] 图5为对应图4(b)和图4(d)中目标运动区域的类8邻域连通子区域标记结果图；
[0023] 图6本发明实施例视频序列的目标模板及局部放大图；
[0024]图7为本发明视频序列的231帧、235帧、239帧、241帧、243帧的原图；
[0025] 图8为图7对应原图的目标运动区域聚类和标记结果图；
[0026] 图9为图8对应结果图的稳定子区域特征挖掘和目标轨迹跟踪结果图。
【具体实施方式】
[0027] 下面结合附图对本发明作更进一步的说明。
[0028] 如图1所示，基于聚类子区域关联的稳定特征挖掘和目标跟踪方法，具体实施步骤 如下：
[0029] 步骤一:采用阈值和背景更新自适应的背景差分算法检测目标运动区域;根据目 标运动区域V色彩分量直方图的峰轮廓、候选峰、区域峰和残余峰能量，自适应获得聚类数。 聚类数计算具体步骤如下：
[0030] la.提取目标运动检测区域的V色彩分量直方图峰轮廓；
[0031 ] lb.利用窗口长为n = 2，ne [2,5]的中值滤波平滑峰轮廓，以突出主峰/Λ其中11 = 1，2~，L1为主峰的数目；
[0032] 1 c .将大于β倍主峰均值的/；η作为候选峰/尸，如公式（1)，其中β = 1.38，β e [ 1， 1.8]为尺度因子，12 = 1，2-丄2为候选峰数目；
[0033]
(1)
[0035]
[0034] Id.累加小于主峰均值的/f获得残余峰能量SUMt和残余率RESt，如公式(2)~(3);
[0036]
[0037] le.当相邻候选峰严和?Τ1对应的V色彩分量差分满足时，，和jf'1 均被作为确定区域峰;当I f -<+卞叫时，保留丨中较大峰作为临时区域峰，并将 序号赋值为12+1，即//2+l ，重复该过程，依次将临时区域峰与下一相邻 峰f1进行比较，并重复max赋值过程，直到U;、-d>α,成立，此时的较大峰尸…1方 可被作为确定区域峰；确定区域峰数目即为聚类数Kt。当RESt>a2时，增加一个聚类，ΒΡ & +1。其中阈值cn 2 10，α2 2 〇 · 3，最为优选方案:~已[15，20]，a2e [0 · 35，0 · 45]，计算 时可选 αι=15α2 = 0.45。
[0038]步骤二:利用目标区域运动像素 X处的S和V色彩分量St