一种基于切换的卡尔曼滤波模型的手势识别方法
【专利摘要】本发明公开的一种基于切换的卡尔曼滤波模型的手势识别方法，包括：建立手势视频库，对其预处理；去除视频帧图像背景，基于肤色模型分割出双手与脸部区域；对三个区域进行形态学操作，分别计算质心，获得脸部与双手的位置矢量和双手间的位置矢量；计算光流场，得到双手质心的光流矢量；定义编码规则，对每帧图像的两个光流矢量和三个位置矢量进行编码，得到手势特征链码库；构建S-KFM图模型，以特征链码序列作为其观测信号，以手势姿态含义序列作为其输出信号；以特征链码库作为S-KFM的训练样本进行学习得到最优参数；对待识别的手势视频，重复相关步骤，获得相应特征链码，将其作为S-KFM的输入进行推理，最终获得手势识别结果。
【专利说明】一种基于切换的卡尔曼滤波模型的手势识别方法
【技术领域】
[0001] 本发明属于人机交互【技术领域】，具体涉及一种基于切换的卡尔曼滤波模型的手势 识别方法。
【背景技术】
[0002] 人机交互技术是实现人类与计算机沟通的技术总称，随着计算机的快速发展，该 领域具有深刻的研究意义和广泛的应用前景，成为国内外研究的热点。目前，主要通过语 音输入，动作指示实现人机交互。因为语音很容易受到外部环境的影响，以及语言种类不 一致的影响，这就增加了人机交互的复杂程度，并且降低了交互准确度。人与人之间的沟 通70 %是通过肢体语言实现，手势作为一种最简单，直接的肢体语言，其传递的信息量非常 丰富，发挥着非常重要的作用，并且不受种族和地域的影响，所以基于手势识别技术实现人 机交互无疑是更简单和更快速的方法。目前在国外公开的文献中，Bao P. T, Binh N. T, Khoa T. D. A New Approach to Hand Tracking and Gesture Recognition by a New Feature Type and HMM. Sixth International Conference onFuzzy Systems and Knowledge Discovery[C]. USA: IEEE, 2009:3-6,提出了一种基于新型特征与HMM的手势追踪和手势识别方法。
[0003] 但上述手势识别方法有以下不足：
[0004] (1)虽然提出了 Tower算法来实现手势的跟踪模块，但是其计算过程非常复杂，增 加了程序复杂度和运算量大，使得实时性降低。
[0005] (2)使用基于HMM实现手势训练和手势识别，其对于一个观测数据在一个时间只 可以推测一个隐变量，使得手势模型过于简单，如果增加变量将占用大量的内存。
[0006] (3)主要使用对手势姿态的学习最终实现手势识别，局限了它的应用范围。
【发明内容】
[0007] 本发明的目的是提供一种基于切换的卡尔曼滤波模型的手势识别方法，克服了现 有方法计算复杂度高，实时性差和使用范围窄的不足。
[0008] 本发明采用的技术方案是，一种基于切换的卡尔曼滤波模型的手势识别方法，具 体按照以下步骤实施：
[0009] 步骤1 :使用相应设备拍摄单目视频，拍摄速度为30帧每秒，构建有N个动态手势 的视频库 V = (Vi, v2, . . .，vi，. . .，VN);
[0010] 步骤2 :提取视频Vi的每帧图像，得到帧图像Fi = (fn，fi2, . . .，fij，. . .，fin)，其中 n表示视频\的帧数，对fu进行预处理，基于背景差分和肤色模型获取出fu中的脸，左手 和右手区域，分别记做以」 1^」2^」3)，分别计算出三个区域的质心^1，1^ 2，1^3);
[0011] 步骤3 :对相邻两幅图像进行光流法求解，得到光流矢量，即U = (u，V)i = (fi+l_fi)，继而得到双手质心像素点对应的光流矢量(UijpVijUz (uij2，vij2);左 手到右手的位置矢量Pu = (Mij2-Mij3)，左手到脸的位置矢量为Pij2 = (Μ^-Μα)，右手到脸 的位置矢量为Pij3 = (Μ^-Μ^);
[0012] 步骤4:定义编码规则，对两个光流矢量以及三个位置矢量经过量化后分别进行 编码，得到UU1，U$，PU1，PU2, 对应的码字，对于一个视频，将对应的η个码字相连得到 五条特征链码，即左手运动链码Ln，右手运动链码Li2，左手到右手的位置链码Li3，左手到脸 的位置链码Li4，右手到脸的位置链码Li5 ;
[0013] 步骤5:重复步骤2-4，得到手势库相对应的特征链码库1^=0^山2山 3山4山5)，1 =1，2, · · ·，N ;
[0014] 步骤6 :对待识别手势视频进行步骤2-4处理，获得特征链码1 = (1π 12, 13, 14， "）；
[0015] 步骤7 :构建由扩展卡尔曼滤波器和自适应卡尔曼滤波器组合构建的切换卡尔曼 滤波器图模型，以特征链码序列作为图模型观测信号，以手势姿态含义序列作为输出信号， 以L作为S-KFM的训练样本进行学习得到图模型系统的最优参数，将1作为S-KFM的输入 进行推理，最终获得手势识别结果。
[0016] 本发明的特点还在于，
[0017] 其中的步骤2具体按照以下步骤实施：
[0018] (21)对视频进行亮度增强，去抖动的预处理；
[0019] (22)将帧图像与不包含人物图像的背景图像Β进行差分，得到只有人物图像 的差分图像b ij;
[0020] (23)将图像由RGB颜色空间转化为HSV颜色空间和YCbCr颜色空间，得到各像 素的H，Cb和Cr分量，如果其满足阈值条件：H> = 0. Oland H〈 = 0. land Cb> = 140and Cb〈 =195and Cr> = 140and Cr〈 = 165,则该像素为肤色像素，从而实现对中人的双手和脸 的定位；
[0021] (24)将步骤（23)处理后的图像二值化，腐蚀，膨胀，得到更加清晰的双手和脸部 封闭区域，分别记做Siji，s ij2, sij3;
[0022] (25)根据求质心的函数，编写程序分别求得三个区域质心坐标Mu，Mij2, Mij3。
[0023] 其中的步骤3具体按照以下步骤实施：
[0024] (31)设t时亥lj，像素点（x，y)的灰度值为I(x，y，t) ;(t+At)时亥ij，该点运动到位 置（χ+Δ X，y+Δ y)，灰度值为I (χ+Δ X，y+Δ y, t+Δ t) , u, v分别是该点光流矢量的X和y分 量，根据图像沿着运动轨迹的亮度保持不变的原则，获得光流场约束方程：IXU+I yv+It = 0， 求解出该公式的解即获得图像的光流场（u，v);
[0025] (32)假设在一个小的空间领域Ω上运动矢量保持恒定，即满足光流误差
【权利要求】
1. 一种基于切换的卡尔曼滤波模型的手势识别方法，其特征在于，具体按照以下步骤 实施： 步骤1 :使用相应设备拍摄单目视频，拍摄速度为30巾贞每秒，构建有N个动态手势的视 频库 V = (V1; V2, · · ·，vi，· · ·，vn); 步骤2 :提取视频Vi的每巾贞图像，得到巾贞图像Fi = (fn, fi2,. . .，?^，. . .，fin)，其中n表 示视频\的帧数，对进行预处理，基于背景差分和肤色模型获取出中的脸，左手和右 手区域，分别记做&1，5^，5^)，分别计算出三个区域的质心^ 1，1^2，1^3); 步骤3 :对相邻两幅图像进行光流法求解，得到光流矢量，即U = (u，v) i = (fi+1-fi)，继 而得到双手质心像素点对应的光流矢量11^= (uij2，v ij2);左手到右手的 位置矢量Pin = (Mij2-Mij3),左手到脸的位置矢量为Pij2 = (Mm-Mu),右手到脸的位置矢量 为 Pij3 - (Mijs^jjj)； 步骤4:定义编码规则，对两个光流矢量以及三个位置矢量经过量化后分别进行编码， 得到UU1，UU2, PU1，PU2, PU3对应的码字，对于一个视频，将对应的η个码字相连得到五条特 征链码，即左手运动链码Ln，右手运动链码L i2，左手到右手的位置链码Li3，左手到脸的位置 链码Li4，右手到脸的位置链码L i5 ; 步骤5 :重复步骤2-4,得到手势库相对应的特征链码库L = (Ln, Li2, Li3, Li4, Li5)，i = 1, 2,. . . , N ； 步骤6 :对待识别手势视频进行步骤2-4处理，获得特征链码1 = (lp 12, 13, 14, 15); 步骤7 :构建由扩展卡尔曼滤波器和自适应卡尔曼滤波器组合构建的切换卡尔曼滤波 器图模型，以特征链码序列作为图模型观测信号，以手势姿态含义序列作为输出信号，以L 作为S-KFM的训练样本进行学习得到图模型系统的最优参数，将1作为S-KFM的输入进行 推理，最终获得手势识别结果。
2. 根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于， 所述的步骤2具体按照以下步骤实施： (21) 对视频进行亮度增强，去抖动的预处理； (22) 将帧图像与不包含人物图像的背景图像B进行差分，得到只有人物图像的差 分图像1? ; (23) 将图像由RGB颜色空间转化为HSV颜色空间和YCbCr颜色空间，得到各像素 的 H，Cb 和 Cr 分量，如果其满足阈值条件：H> = 0· Oland H〈 = 0· land Cb> = 140and Cb〈= 195and Cr> = 140and Cr〈 = 165,则该像素为肤色像素，从而实现对中人的双手和脸的 定位； (24) 将步骤（23)处理后的图像二值化，腐蚀，膨胀，得到更加清晰的双手和脸部封闭 区域，分别记做Siji，sij2, sij3; (25) 根据求质心的函数，编写程序分别求得三个区域质心坐标Mu，Mij2, Mij3。
3. 根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于， 所述的步骤3具体按照以下步骤实施： (31)设t时刻，像素点（X，y)的灰度值为I (X，y，t) ; (t+Λ t)时刻，该点运动到位置 (χ+Δ X，y+Δ y)，灰度值为I (χ+Δ X，y+Δ y, t+Δ t)，u，v分别是该点光流矢量的X和y分量， 根据图像沿着运动轨迹的亮度保持不变的原则，获得光流场约束方程：IXU+I yv+It = 0,求 解出该公式的解即获得图像的光流场（u，v); (32) 假设在一个小的空间领域Ω上运动矢量保持恒定，即满足光流误差
5其中，W2(x)表示窗口权重函数，使用加权最小二乘法求解该 方程； (33) 设 U = (u，v), ▽ I(x) = (Ix，Iy)T，t 时亥lj 有 η 个点 Xi e Ω，Α = [▽ I (xj，· · ·，▽ I (xm) ]T，W = diag [W (χ)，· · ·，W (xn) ]，B = - (It (x)，· · ·，It (xn))T，则 U 的角军由ATW2AU = ATW2B角军得，即U = ; (34) 使用4点中心差计算灰度的梯度，其系数模板为（-180-81)/12,空间邻域Ω选 择大小为5*5的像素区域，窗口权重函数W 2(x)为（0.0625 0.25 0.375 0.25 0.0625)，
，将其代入υ= [αΥαΓαΥβ，由此估计 出图像的光流场U ; (35) 在图像光流场中，将双手质心像素点的光流矢量Uu，Uij2输出。
4. 根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于， 所述的步骤4具体按照以下步骤实施： (41) 根据公式0 = arctan(^)计算出光流矢量以及位置矢量Uij2, Piji，Pij2， Pij3的方向角，如果
，则将方向角量化为Θ 1;2,3,4,5 = 〇 ;如果
，则将方向角量化为
；以此类推，如果
则将 方向角量化为
，最终将光流矢量进行十六等级量化； (42) 对光流矢量定义的编码准则为：如果方向角为Θ 12A4 5 = 〇,则编码为〇 ;如果方 向角为
，则编码为1 ;如果方向角为
，则编码为2 ;以此类推，如果方 向角为
，则编码为15; (43) 对一个视频中各帧图像的双手质心的光流失量和位置矢量Uu，Uij2, Pu，Pij2, Pij3 按照定义的准则进行编码，将对应的n个码字依次连接起来，得到一个视频的左手运动特 征链码Ln，运动特征链码L i2，左手到右手的位置链码Li3，左手到脸的位置链码Li4，右手到 脸的位置链码L i5。
5. 根据权利要求1所述的基于切换的卡尔曼滤波模型的手势识别方法，其特征在于， 所述的步骤7具体按照以下步骤实施： (71) 将步骤5得到的五条特征链码库分别作为S-KFM的五个观测序列，记做01'2'3' 4'5， 手势含义作为输出，记做X; (72) 根据其函数关系，构建目标运动模型，位置测量模型，状态方程，观测方程等卡尔 曼滤波器模型，结合扩展卡尔曼滤波器和自适应卡尔曼滤波器构成S-KFM ; (73) 设定S-KFM的初始输入序列，分别计算滤波器的预测方程，观测协方差方程，状态 更新方程，滤波增益方程，滤波误差协方差方程，输出手势含义序列库； (74) 将步骤6得到的链码1作为S-KFM的输入，重复相关的步骤，得到待识别手势的手 势含义序列，得到手势识别结果。
【文档编号】G06K9/66GK104050488SQ201410267232
【公开日】2014年9月17日 申请日期:2014年6月16日 优先权日:2014年6月16日
【发明者】肖秦琨, 侯亭亭, 高嵩 申请人:西安工业大学