一种基于改进型稠密轨迹的移动边界采样的行为识别方法
【技术领域】
[0001] 本发明涉及一种基于改进型稠密轨迹的移动边界采样的行为识别方法，尤其涉及 一种利用计算机技术、数字图像处理技术、模式识别技术等实现行为识别分类与判别的方 法，属于人工智能识别领域中关于行为特征提取与识别的技术。
【背景技术】
[0002] 1、行为识别技术
[0003] 行为识别已经成为人工智能中的一个重要的研究方向，它主要应用在实时视频监 督、安全监控、人机交互等方面，其关键技术是特征的提取和分类方法的实现。研究人员提 出了大量的行为识别方法，其中特征提取的方法主要分为三大类：一是基于空时兴趣点的 特征提取，二是基于轨迹的特征提取，三是基于动态纹理的特征提取。其中特征聚类的方法 主要有词袋（Bag-of-Words，简称B0W)、基于Fisher核的方法（FV)和基于局部聚类描述器 向量（vector of locally aggregated descriptors，简称VLAD)。基于BOW的聚类方法常用 的分类器是卡方支持向量机（x2_Support Vector Machine，简称X2-SVM)，而基于Fisher 核和VLAD的聚类方法的分类器是线性SVM/线性极值学习机（extreme learning machine， 简称ELM)。
[0004] 2、基于Fi sher核的聚类理论
[0005] 基于Fisher核的聚类方法的数学描述是：视频代表V= (X1，…，Xh)由H个底层局 部特征X1组成，X 1SD维向量，V e Rhxd。假设Θ = (yk，Xk，nk:k= 1，...，K)代表K个 高斯混合模型（Gaussian Mixture Model，简称GMM)的常量，μ k、Π k分别是GMM的 均值、协方差和权重，其中Sk为对角矩阵，用表示Xk的对角向量。它们可以通过视频 的训练样本进行训练得到。底层局部特征&在对应的高斯混合模型k上的后验概率为：
[0006]
[0007] 其中qike RHXK。对于高斯混合模型k，每一维数据对应的均值和方差为：
[0008]
[0009]
[0010] 其中j = 1，2,…，D。每个视频的Fisher向量就是由这K个高斯混合模型对应的 均值和方差组成，视频的Fisher向量为：
[0011] Φ (V) = [ · · · Uk · · · Vk · · · ]τ
[0012] [· ]τ表示的是向量的转置。所以对于每个描述器每个训练样本和测试样本都是 由2KD维的Fisher向量组成。
[0013] 3、基于概率/权重融合的分类器
[0014] 每个描述器对应的Fisher向量分别作为分类器的输入，从而对分类器进行训练， 得到N个分类器分别对应为X 1，…，Xn。每个分类器得到的每类概率为P (ω JX1)，其中k = 1，···，!!!，假设总共有m类。采用六种结合规则进行概率融合，六种规则对应为：概率最大、最 小、中值、乘积、求和、权重选举等规则，其中z为对应为预测类。
[0015] (31)概率最大规则
[0016] ，表示z对应为第j类。
[0017]
[0018] ，表示z对应为第j类。
[0019]
[0020] 表示z对应为第j类。
[0021] (34)乘积规则
[0022] 表示z对应为第j类。
[0023]
[0024] ，表示z对应为第j类。
[0025] (36)权重选举规则
[0026] 对应为第j类，其中
[0027]
【发明内容】
[0028] 发明目的：为了克服现有技术中存在的不足，本发明提供一种基于改进型稠密轨 迹的移动边界采样的行为识别方法，使用移动边界采样方法来减少兴趣点的数目即轨迹点 的数目，在不影响识别率情况下，从而减少消耗内存并且提高处理速度；对于不同的描述器 分别采用前融合和后融合技术进行数据的结合，来提高行为识别的识别率并比较不同的融 合对性能的影响。
[0029] 技术方案：为实现上述目的，本发明采用的技术方案为：
[0030] 一种基于改进型稠密轨迹的移动边界采样的行为识别方法，包括如下步骤：
[0031] (1)建立移动边界图片：首先通过特征匹配来评估连续两帧图片的单应性，然后 根据单应性求取纠正帧，最后根据该连续两帧图片中的第一帧和纠正帧求取光流，移动边 界图片的像素值对应为光流的梯度幅度；
[0032] (2)建立底层特征描述器：基于改进型稠密轨迹通过移动边界图片进行采样 来提取 HOG (Histogram of oriented gradients，方向直方图）、HOF (Histogram of optical flow，光流直方图）、MBH (Motion boundary history，移动边界直方图）和 Dentr(trajectory descriptor，轨迹描述器）四个底层特征描述器，然后使用PCA(无监 督的学习算法）提取四个底层特征描述器对应特征的特征值和特征向量，将H0G、H0F、MBH 和Dentr四个底层特征描述器的维数分别降到64、64、128、20,即将H0G、H0F、MBH和Dentr 四个底层特征描述器的底层特征向量的维数〇分别降到64、64、128、20;将降维后的！106、 H0F、MBH和Dentr四个底层特征描述器分别记为Xp X2、X 4;
[0033] (3)建立中层特征描述器：使用Fisher核对步骤（2)得到的四个底层特征描述器 分别进行聚类，各自得到2KD维的Fisher向量，其中K为Fisher核中所选的高斯混合模型 的数量；
[0034] (4)使用LDA/PCA(有监督的学习算法/无监督的学习算法）对步骤（3)得到的 Fisher向量进行降维；
[0035] (5)使用步骤（4)得到的Fisher向量进行分类器训练和测试，包括如下步骤：
[0036] (51)对X1、X2、&和X 4分别进行训练和测试，得到在当前分类器下各类的概 率P(CokAi), P(CVX1)表示样本在底层特征描述器X1下属于类ω k的概率，其中i = 1，2, 3, 4 ;对样本在四个底层特征描述器下属于类〇^的概率按照特定规则进行融合，即进 行位置3融合（可称为后融合），得到融合后的样本属于类〇^的概率并输出；所述特定规 则为最大、最小、中值、权重选举、求和或求积；
[0037] (52)对四个底层描述器对应的Fisher向量进行融合，即进行位置2融合（可称为 前融合），得到融合后的Fisher向量，再使用LDA/PCA对融合后的Fisher向量进行降维，最 后输入到分类器中进行训练和测试，得到样本属于类ω,的概率并输出。
[0038] 优选的，所述步骤（1)中，使用光流梯度幅值求取移动边界图片，采样点对应移动 边界图片区域。
[0039] 优选的，所述步骤（5)中，分类器包括支持向量机和极限学习机两种，通过输出的 样本属于类的概率对这两种分类器的运行速度和识别率进行比较。
[0040] 优选的，所述步骤（5)中，所述支持向量机具体为概率评估分类器，所述极限学习 机具体为权重评估分类器。
[0041] 优选的，所述步骤（51)中，特定规则包括最大、最小、中值、权重选举、求和和求 积，分别采用各种特定规则进行位置3融合，得到各种特定规则下的融合结果，即各种特定 规则下样本属于类《,的概率；通过输出的概率哪一种特定规则更适合样本的识别。
[0042] 优选的，所述步骤（3)中，K = 256 ;通过实验知道，这个取值在识别率和速度上能 够有很好的折中。
[0043] 有益效果：本发明提供的基于改进型稠密轨迹的移动边界采样的行为识别方法， 基于改进型稠密轨迹在移动边界上采样的方法和Fisher核的聚类方法，构建了一个适用 于行为识别的特征提取的方法，在得到Fisher向量后，有两种处理方式：①分别对不同描 述器的Fisher向量进行训练，并且训练集采用LDA/PCA进行学习，保留具有判别性的特 征向量，将它们输入到线性分类器中进行分类，这样可以节约训练和测试的时间，并且能 够提高识别率，然后对各个分类器输出的概率进行不同规则的融合；②将不同的描述器的 Fisher向量合并成一个Fisher向量，即位置2融合，对这个Fisher向量采用LDA/PCA进行 学习，然后将它输入到线性分类器中进行分类。本方法得到的最优结果是使KTH库上的识 别率在97%以上，使UCFll库上的识别率在92%之上。
【附图说明】
[0044] 图1为本发明的流程图；
[0045] 图2为在KTH库上最佳规则下的混淆矩阵图；
[0046] 图3为在UCFl 1库上最佳规则下的混淆矩阵图。
【具体实施方式】
[0047] 下面结合附图对本发明作更进一步的说明。
[0048] 如图1所示为一种基于改进型稠密轨迹的移动边界采样的行为识别方法，包括如 下步骤：
[0049] (1)建立移动边界图片：首先通过特征匹配来评估连续两帧图片的单应性，然后 根据单应性求取纠正帧，最后根据该连续两帧图片中的第一帧和纠正帧求取光流，移动边 界图片的像素值对应为光流的梯度幅度；
[0050] (2)建立底层特征描述器：基于改进型稠密轨迹通过移动边界图片进行采样来提 取HOG、HOF、MBH和Dentr四个底层特征描述器，然后使用PCA提取四个底层特征描述器对 应特征的特征值和特征向量，将HOG、HOF、MBH和Dentr四个底层特征描述器的维数分别降 到64、64、128、20,即将H0G、H0F、MBH和Dentr四个底层特征描述器的底层特征向量的维数 D分别降到64、64、128、20 ;将降维后的H0G、H0F、MBH和Dentr四个底层特征描述器分别记 为 XpXpX3和 X4;
[0051] (3)建立中层特征描述器：使用Fisher核对步骤（2)得到的四个底层特征描述器 分别进行聚类，各自得到2KD维的Fisher向量，其中K为Fisher核中所选的高斯混合模型 的数量；
[0052] (4)使用LDA/PCA对步骤（3)得到的Fisher向量进行降维；
[0053] (5)使用步骤（4)得到的Fisher向量进行分类器训练和测试，包括如下步骤：
[0054] (51)对X1、X2、&和X 4分别进行训练和测试，得到在当前分类器下各类的概 率P(CokAi), P(CVX1)表示样本在底层特征描述器X1下属于类ω k的概率，其中i = 1，2, 3, 4 ;对样本在四个底层特征描述器下属于类〇^的概率按照特定规则进行融合，即进 行位置3融合（可称为后融合），得到融合后的样本属于类〇^的概率并输出；所述特定规 则为最大、最小、中值、权重选举、求和或求积；
[0055] (52)对四个底层描述器对应的Fisher向量进行融合，即进行位置2融合（可称为 前融合），得到融合后的Fisher向量，再使用LDA/PCA对融合后的Fisher向量进行降维，最 后输入到分类器中进行训练和测试，得到样本属于类ω,的概率并输出。
[0056] 所述步骤（1)中，使用光流梯度幅值求取移动边界图片，采样点对应移动边界图 片区域。
[0057] 所述步骤（5)中，分类器包括支持向量机和极限学