一种摄像机运动不变的时空兴趣点特征检测方法
【技术领域】
[0001] 本发明主要涉及数字视频内容理解与分析领域，尤其是视频中人体动作识别应用 领域，特指一种摄像机运动不变的时空兴趣点特征检测方法。
【背景技术】
[0002] 近年来，具有提取简单、抗干扰能力强、鲁棒性好等优点的时空兴趣点特征，在视 频内容理解与分析领域，尤其是视频人体动作识别任务中，发挥着重要的作用。现有的时空 兴趣点特征提取算法，如图1所示，通常检测视频时空域内显著性变化区域作为时空兴趣 点特征。在图1中，1为时空兴趣点特征，2为视频时空域，3为图像，图I (a)是3D Harris 算法检测视频时空域显著性变化区域作为时空兴趣点特征的示意图，图1(b)是在人行走 视频中的检测结果。在摄像机静止、或摄像机运动但背景平坦时，视频中的显著性变化区域 常由人体运动产生。此时，通过检测时空域显著性变化区域能够有效捕获人体运动相关信 息，用于人体动作识别等视频内容理解与分析任务中。但是，当摄像机运动、且背景非平坦 时，不仅人体运动区域内会形成显著性变化区域，在非平坦的背景区域也会因摄像机运动 而产生显著性变化，这些显著性变化区域也会被检测为时空兴趣点特征。显然，位于非平坦 背景区域内的时空兴趣点特征是无用的，因为它们并不包含在视频内容理解与分析中我们 所感兴趣的运动信息。另一方面，这也是有害的。因为，这些特征会严重影响视频内容理解 与分析的性能。因此，在检测时空兴趣点特征时，尤其在人体动作识别任务中，需要剔除这 些位于运动背景区域内的时空兴趣点。
【发明内容】
[0003] 本发明要解决的技术问题在于：在视频内容理解与分析领域，尤其是人体动作识 别任务中，现有时空兴趣点特征提取算法，在摄像机运动且存在非平坦背景时，容易受非 平坦背景运动干扰产生大量误检测时空兴趣点特征，从而影响视频内容理解与分析的精 度。
[0004] 为了解决这个问题，本发明提出一种摄像机运动不变的时空兴趣点特征检测方 法。以人体动作识别为例，通常情况下，在人体动作视频中，位于前景（相对于背景而言，通 常指运动目标，这里指运动人体）中的图像局部特征（本发明中称之为前景局部特征），和 位于背景中的图像局部特征（本发明中称之为背景局部特征），存在着明显的差异。前景局 部特征的运动轨迹不同于背景局部特征的运动轨迹。利用它们之间的这种差异，可以将与 人体运动相关的前景局部特征挑选出来作为时空兴趣点特征。通过这种方式提取时空兴趣 点特征，可以有效剔除位于运动背景区域内的错误的时空兴趣点特征，提高时空兴趣点特 征检测精度。
[0005] 本发明提出的技术方案是：在视频中检测图像局部特征，并跟踪生成图像局部特 征运动轨迹，然后，利用图像局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运 动模式不一致的图像局部特征轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进 行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。
[0006] 首先，参照图3,介绍本发明的基本原理。当摄像机运动时，在所获视频中，背景局 部特征14和前景局部特征13呈现出不同的运动规律。背景局部特征14的运动轨迹（本 发明中称之为背景局部特征轨迹11)由摄像机运动所决定，前景局部特征13的运动轨迹 (本发明中称之为前景局部特征轨迹12)由人体和摄像机两者的运动共同决定。在同一视 频中，所有背景局部特征的运动轨迹必然表现出某种共同属性，该属性与摄像机运动紧密 相关。相反，前景局部特征的运动轨迹则表现出某种与背景局部特征运动轨迹所不同的属 性，该属性则与人体自身运动紧密相关。利用它们的不同属性，可以将图像局部特征划分为 与人体动作相关的前景局部特征，和与人体动作无关的背景局部特征。这些与人体动作相 关的前景局部特征就是在人体动作识别任务中需要的时空兴趣点特征。
[0007] 给定图像中的N个局部特征，通过跟踪得到其运动轨迹W = [W1, ...，wN]。其中，第 i个局部特征的运动轨迹可以表示为：
（该表达式表示Wi这一个向量 属于lx2F的实数空间，R表示实数，lx2F是该空间的维数），其中qfl= [ufl，vfl]T(这个表 达式中下标f表示第f帧，下标i表示第i个点，T表示转置）是该局部特征在第f帧中的 图像坐标，其中F是总的帧数，u，v是图像坐标，图像坐标系统如图2所示，其中4是图像 中心，5是图像坐标系u轴，6是图像坐标系V轴。它们的轨迹可以组合成一个2FXN的矩 阵：
(1)
[0009] 根据计算机视觉理论和透视成像原理，当N个图像局部特征全部位于背景中时， 在透视投影下，W2fxn是一个秩为3的矩阵：rank (W2fxn) = 3 (rank表示秩）。也就是说，背景 局部特征轨迹张成一个维数为3的低维子空间，这里称之为背景运动子空间M e R2FX3。任 意一条背景局部特征轨迹W1可以通过背景运动子空间M进行线性表示：
(1!)
[0011] 其中，Hij是背景运动子空间M中第j列向量，a j是与Hi j相对应的线性表示系数。
[0012] 当W2fxn中存在前景局部特征轨迹时，根据计算机视觉理论和透视成像原理，W 2fxn 的秩必大于3。那么，背景运动子空间M不能准确地对前景局部特征轨迹进行线性表示，因 此式⑵不成立：
(3) CN 105160287 A VL 3/丫贝
[0014] 4
是化在M上的重构，免通过投影变换=Pwi得到，其中P是投影 变换矩阵，它由M经线性变换后得到：
[0015] P = M(MtM)1Mt (4)
[0016] 那么，界1在M上的重构误差为：
偏
[0018] 如果W1是背景局部特征轨迹，那么它可以由背景运动子空间M良好重构，得到较 小的重构误差e1;反之，如果w i是前景局部特征轨迹，则会产生较大重构误差e i。通过阈值 th，即可将背景、前景局部特征轨迹区分开：
CB)
[0020] 其中，L(W1)是轨迹&的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹。
[0021] 因此，本发明利用摄像机运动时背景局部特征轨迹所张成的低维子空间M，对背 景、前景局部特征轨迹进行区分，可以检测出与人体运动相关的前景局部特征，并剔除无关 的、由摄像机运动引起的背景局部特征。从而实现，摄像机运动不变时空兴趣点特征检测。
[0022] 本发明一种摄像机运动不变时空兴趣点特征检测方法，其具体的方法步骤是：
[0023] (1)将待检测视频划分为若干视频段；
[0024] (2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括 两部分信息：图像局部特征的空间极值尺度c、图像位置（u，v)。
[0025] (3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹；
[0026] 获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨 迹。在本发明中，利用步骤⑵中图像局部特征的图像位置（u，v)作为输入，选用 KLT (Kanade-Lucas-Tomasi)特征跟踪算法，获取局部特动轨迹W = [W1, ...，wn]。
[0027] (4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式；
[0028] 背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间 M。该子空间通过随机搜索算法得到，具体实施步骤是：从局部特征轨迹W= [W1,...，wN] 中，随机地选择3条运动轨迹Iwll, wl2, wl3}构建子空间
，然后，以此子空间 S1计算投影矩阵P i，并重构所有运动轨迹
计算重构误差
r通过T次 循环，T 一般大于n/2,从S= [Sl，...，sT]中，选择具有最小重构误差et的子空间、作为 背景运动低维子空间
3
[0029] (5)利用步骤4中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确 定前景局部特征；
[0030] 筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式（6)，逐一 检测图像局部特征轨迹W中的每一条轨迹％，判断重构误差4是否满足e ,> th。满足该 条件的轨迹W，即为前景局部特征轨迹。
(&}
[0032] 其中，L(Wj)是轨迹^的标号，0表示背景局部特征轨迹，1表示前景局部特征轨 迹；
[0033] 其中，e]是