一种基于深度信息和校正方式的手部姿态估计方法
【专利摘要】本发明公开了一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。本发明以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，方法简单实用。
【专利说明】
一种基于深度信息和校正方式的手部姿态估计方法
技术领域
[0001] 本发明涉及机器人视觉技术领域，特别是涉及一种基于深度信息和校正方式的手 部姿态估计方法。
【背景技术】
[0002] 近几年人机交互技术在生活中起着越来越重要的作用，便利舒适的交互方式能够 极大地曾倩人们的交互体验。传统的交互方式诸如键盘鼠标的方式，虽然能够满足日常交 互输入，但是在便利性、距离等方面都受到一定的限制。近年来手势技术成为了研究的热 点，以手进行交互的方式层出不穷。手作为人体最灵活的器官，具有较高的自由度和灵活 度，因此不仅能够完成日常生活中的工作劳动，同时也能够满足未来以手势为代表的交互 输入。其中手势技术也经过了一定时间的发展，但是传统的手势基础诸如表观法，利用手在 相机前做出特点的动作，然后识别出何种动作，进行相应的指令，受限于背景复杂以及手势 外观变化的多样性，实用性并不大。而最近部分手势识别方法采用对手部轨迹进行是被，进 而识别出手势动作，这种利用手部轨迹运动的交互方式操作起来还是比较容易产生疲劳 感。而最具有潜力的三维手势，即通过识别手部姿态的变化，从而作为交互指令，不仅快捷 便利，同时也自然很多，因此三维手势交互技术在未来具有极大的潜力。
[0003] 三维手势的技术基础就是实现对手部姿态的实时估计，这项技术有着较长时间的 研究。其中以判别式为代表的放肆，首先对手部区域的图像提取特征，然后通过分类器来对 所有的像素点进行分类得到各个管借鉴的标注，对各关节点像素通过聚类得到关节点的位 置。另外部分方法通过深度模型得到部分关节点位置，再通过逆向骨骼算法得到其他关节 点。这种得到关节点位置的方式，其实对交互场景而言作用并不大，关节点之间丧失了拓扑 结构的约束，大大限制了后续的交互应用。而以产生式为代表的方式，往往首先建立手部模 型，然后结合深度图像与手部模型建立能量函数，通过最优化能量函数得到当前手部的姿 态估计结果。这种方式在渲染模型时需要GHJ加速，比较消耗硬件资源。同时能量函数最优 化时会出现局部最优解，使得估计出现误差。而近几年出现的将产生式和判别式相结合的 方式，通过判别式得到姿态假设，再通过产生式计算出最优姿态，这种方式虽然得到的结果 比前两种方法更准确，但是较为复杂的方法不仅消耗硬件资源，而且对交互系统而言也不 是最优的。
[0004] 现有技术中，与本发明类似的有以下几个：
[0005] (1) -种基于关节点变换的手势交互方法，申请号为201510377291.0;该发明主要 通过Kinect传感器在不同角度下拍摄手部点云与彩色数据，并进行点云配准与点云三角面 化，得到手部模型，对于当前手势下的手部数据提取点云特征和图像特征，并与手部模型进 行特征匹配，从手指尖逐步求出各个关节点的参数，并以此完成交互。但是这种方法一来对 手部建立的点云模型，而三维手势变化多样，且有遮挡现象，很难建立完成点云模型，因此 这种方法复杂度较高。
[0006] ( 2 ) -种基于深度数据的三维手势姿态估计方法及系统，申请号为 201510670919.6;该发明采用Kinect传感器获取手部数据，并在此基础上通过提取特征加 判别式模型分别实现手掌姿态和手指姿态的回归，但是该方法过于复杂。
[0007] (3)-种手势识别方法与装置，申请号为201410036739.8;该发明获取手部彩色和 深度数据，利用彩色图像完成手部深度数据的分析，并在手部轮廓区域内利用自适应加权 提取特征，基于分类器完成对当前手势的类型识别，从而识别出姿态;这种方式实质上上表 观法，对于交互场景下的复杂图像，不仅难以解决手部区域完整分割的问题，同时也无法表 达高维的手姿姿态下的各种手势。
[0008] (4)基于Kinect人手运动捕捉的灵巧手遥操作控制方法，申请号为 201410697456.8;该发明也是基于Kinect进行手部姿态的估计，获取手部深度数据和彩色 数据，并利用彩色数据分割出手部区域后，利用基于模板匹配的粒子滤波姿态检测方法预 测人手姿态，进而进行手势识别和交互;这种手部姿态估计方法主要通过跟踪的方式实现 对手部姿态的估计，一般算法的实时性不佳，且面对遮挡和角度变化较大等情况不佳。
【发明内容】
[0009] 本发明的目的在于克服现有技术的不足，提供一种基于深度信息和校正方式的手 部姿态估计方法，以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深 度图像与姿态校正的方式估计出手指姿态，简单、快捷。
[0010] 本发明的目的是通过以下技术方案来实现的：一种基于深度信息和校正方式的手 部姿态估计方法，包括以下步骤：
[0011] S1.获取手部深度数据，并从手部深度数据中分割出手部区域；
[0012] S2.根据手部区域检测手掌姿态；
[0013] S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；
[0014] S4.计算手部各关节点的投影特征；
[0015] S5.根据手部各关节点的投影特征进行手指姿态校正。
[0016] 所述步骤S1包括以下子步骤：
[0017] S11.获取手部深度数据；
[0018] S12.获得包括第一手腕点Pwrist的人体骨骼图像；
[0019] S13.将第一手腕点Pwrist变换到图像坐标系下，得到第二手腕点位置且 ^ =W}.;
[0020] S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域 Recti：
[0021 ] Recti = {m,n} [x-t ,x+t] [y~t ,y+t]；
[0022] S15.取第一矩形区域Recti中像素值之和的平均值作为第一手腕点Pwrist对应的深 度值；
[0023] S16.将深度数据的阈值范围保持在[ZPaim-t，ZPaim]，其中，Zp表示第一手腕点Pwrist 对应的深度值，通过阈值化处理从手部深度数据分割出手部区域。
[0024] 所述步骤S2包括以下子步骤：
[0025] S21.计算手部区域的第一中心点疗二，并将第一中心点/^f转换到三维坐标系下， 得到第二中心点PCen;
[0026] S22.利用第二中心点PCen和第一手腕点Pwrist计算出从手掌到手指的第一方向Vy， 并进行归一化处理，其中：
[0027] Vy = PHand-Pwrist；
[0028] S23.在第一中心点发射出与第一方向Vy相垂直的直线，该直线与手部区域轮 廓交于第一交点和第二交点:
[0029] S24 ?以第一手腕点Pwrist、第一交点P/l .和第二交点确定手掌平面，并求出手 掌平面的平面法向量Vz;
[0030] S25.根据第一方向Vy和平面法向量Vz计算出当前的手掌姿态0p。
[0031] 所述步骤S25包括以下子步骤：
[0032] S251.定义初始时手指方向为 <，手掌方向为由手指方向以变换到第一方向Vy 的旋转操作表示为四元数Qy，则n=ev ;
[0033] S252.利用四元数Qy将最初的手指方向$进行方向更新，即G-g/f，得到从手 掌方向t变换到平面法向量V z的旋转四元数Qz，其中
[0034] S253.当前的手掌姿态0P包括三维平移Rt和三维旋转Rg，其中，三维平移Rt为第二 中心点PCen，三维旋转Rg为四元数Qy和旋转四元数QZ的复合操作，Rg = Qy*QZ。
[0035] 所述步骤S3包括以下子步骤：
[0036] S31.定义每个关节点为J1={ A T，A R}，AT表示此关节点相对于父节点的距离， A R表示此关节点相对于父节点的旋转参数；
[0037] S32.建立手部关节点模型M:
[0039] 其中，九。。*表示整个手部模型的根节点，为手腕骨骼点，和 ?/f5表示每根手指包括的四个关节点；
[0040] S33.根据手掌姿态0P求出手部的所有关节点，对于任意一个关节点心，其位置P1计 算如下：
[0041 ] pi = Rg* AR* AT+pi-1
[0042]其中，Rg表示父节点的旋转参数，产1为关节点心的父节点位置；
[0043] S34.得到关节点Ji的位置P1后，更新关节点Ji的旋转参数，即Rg = Rg*AR;
[0044] S35.计算所有关节点的第一位置{Pj，将所有关节点的第一位置{Pj转换到图像 坐标系下：
[0046]得到所有关节点的第二位置{P，}，其中，f为相机焦距，rows为图像序列，cols为 图像行数，{?1} = 0八，2}为三维点，{?1，= {^7}为转换后的图像点。
[0047] 所述步骤S4包括以下子步骤：
[0048] S41.设计关节点的投影特征为A :
[0049] A =(Z(Pi)-I(Pi2D+Ut))/Z(Pi)
[0050] Ut = (m，n)，mG [_t，+t]，nG [_t，+t]
[0051] 式中，投影特征A表示将当前关节点相机坐标系下的深度值与图像中深度值做差 后与深度值之比;Pi2D+U t表示P，的八个方向上距离为t的点坐标;Z(P〇为三维点P^Z坐标 值;Ut即为点的八个方向的偏移量；
[0052] S42.单个手指中的所有关节点对应的投影特征为：
[0053] ^ ={A^},/e[l,5],ge[l,4]
[0054] 式中，f表不手指编号，g表不手指中关节点的编号；
[0055] S43.对于手指f?的第g个关节点而言，利用其关节点参数巧和真实标签$判断此关 节点的参数是否正确：
[0057] 式中，max($)表示第f根手指的g个关节点的最大运动角度；哼表示当前手指找勺 第g关节点参数，巧为手指f?的第g关节点的真实参数，abs为绝对值；
[0058] 若关节点参数巧和真实标签男之间的偏差大于阈值，则认为此关节点的参数不 正确，其校正值为此关节点的最大夹角与当前的关节点参数-之差；
[0059] S44.对于单个手指f，其校正状态为其各个关节点校正状态的并集：
[0060] y,=|,f}/￡：[l，5]，ge[l，4];
[0061] S45.按照关节点顺序进行二进制编码的方式，则手指f的校正状态为：
[0062]心=23 * # +22 * F/ +2*+ 7/。
[0063] 所述步骤S5包括以下子步骤：
[0064] S51.获取训练数据和训练样本；
[0065] S52.训练分类器，将训练得到的分类器记为C，则：
[0066] Yf = C(Xf)；
[0067] S53.计算各个手指的校正状态并进行校正，得到手指姿态0f;
[0068] S54.联合手指姿态0f和手掌姿态0P实现对手部姿态的估计。
[0069] 所述训练数据为手势图像I与对应的姿态标注0，训练样本为手指投影偏差特征与 校正状态。
[0070] 所述步骤S52中的分类器为普通多类别分类模型。
[0071] 本发明的有益效果是:本发明以深度数据为基础，通过分割出手部区域并计算出 手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，方法简单实用。
【附图说明】
[0072] 图1为本发明一种基于深度信息和校正方式的手部姿态估计方法的流程图；
[0073] 图2为本发明中检测手掌姿态和计算手部关节点的流程图；
[0074] 图3为本发明中手部关节点模型的示意图；
[0075]图4为本发明中手指姿态校正的流程图。
【具体实施方式】
[0076]下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于 以下所述。
[0077]如图1和图2所示，一种基于深度信息和校正方式的手部姿态估计方法，包括以下 步骤：
[0078] S1.获取手部深度数据，并从手部深度数据中分割出手部区域。
[0079] 本实施例主要基于深度数据，其目的是估计出深度数据中手部的姿态状态。本实 施采用深度数据作为输入，相比于传统的彩色相机，深度传感器能够获得被拍摄物体的距 离信息，很容易进行目标与背景的分割，本实施例中以Kinect2传感器为例。
[0080] 所述步骤S1包括以下子步骤：
[0081] S11.获取手部深度数据。在获取的深度数据中手部所占的比例非常小，同时手部 和胳膊部分由于深度值相似而难以区分，因此，背景和胳膊部分都会对手部姿态估计造成 影响。为了降低干扰因素，本发明中引入手腕点的位置，假设手腕点位置已知，这样能够更 好地分割出手腕和手部部分。
[0082] S12.获得包括第一手腕点Pwrist的人体骨骼图像。本实施例中采用基于Kinect2传 感器的人体骨骼捕获系统来获得人体骨骼，该人体骨骼中还包含了一个粗略估计的手腕点 位置，即第一手腕点Pwrist。
[0083] S13.将第一手腕点Pwrist变换到图像坐标系下，得到第二手腕点位置，，且 piD ={^}°
[0084] S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域 Recti：
[0085] Recti = {m,n} [x~t ,x+t] [y~t ,y+t] 〇
[0086] S15.取第一矩形区域Recti中像素值之和的平均值作为第一手腕点pwrist的深度 值。
[0087] S16.将深度数据的阈值范围保持在[ZPaim-t，ZPai m]，其中，ZP表示第一手腕点Pwrist 对应的深度值，t的取值可以结合手部区域在相机坐标系下的深度值进行设定，表示从手腕 到手指的深度变化值的一半，阈值化处理可以排除手部区域以外的无关内容，只保留手部 区域，通过阈值化处理从手部深度数据分割出手部区域。
[0088] S2.根据手部区域检测手掌姿态。
[0089] 所述步骤S2包括以下子步骤：
[0090] S21.在得到手部区域的图像后，计算手部区域的第一中心点乃=，并将第一中心点 户^转换到三维坐标系下，得到第二中心点P Cen。
[0091] S22.利用第二中心点Pc?和第一手腕点Pwrist计算出从手掌到手指的大致方向，BP 第一方向V y，并进行归一化处理，其中：
[0092] Vy = PHand-Pwrist。
[0093] S23.在第一中心点fg1发射出与第一方向Vy相垂直的直线，该直线与手部区域轮 廓交于第一交点尸和第二交点，这两个点表示手掌边沿上的点。
[0094] S24.以第一手腕点Pwrist、第一交点C和第二交点确定手掌平面，并求出手 掌平面的平面法向量Vz，该平面法向量Vz即为手掌的三维向量。
[0095] S25.根据第一方向Vy和平面法向量Vz计算出当前的手掌姿态0 P。
[0096] 所述步骤S25包括以下子步骤：
[0097] S251.定义初始时手指方向为巧，手掌方向为g，由手指方向G变换到第一方向Vy 的旋转操作表示为四元数Qy，则。
[0098] S252.利用四元数Qy将最初的手指方向 <进行方向更新，即，按照上述 方式，得到从手掌方向Pf变换到平面法向量Vz的旋转四元数Qz，其中 [0099] S253.当前的手掌姿态0P包括三维平移Rt和三维旋转R g，其中，三维平移Rt为第二 中心点PCen，三维旋转Rg为四元数Qy和旋转四元数QZ的复合操作，Rg = Qy*QZ，通过以上步骤即 可计算出当前手掌的三维姿态。
[0100] S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置。在计算出 手掌姿态结果的基础上，结合手部标准骨骼模型，从而计算出手部各个关节点的位置。
[0101] 所述步骤S3包括以下子步骤：
[0102] S31.手部关节点模型就是将关节点按照先后顺序通过树结构连接起来，包括手掌 关节点和手指关节点。定义每个关节点为心={ A T，A R}，A T表示此关节点相对于父节点 的距离，△ R表示此关节点相对于父节点的旋转参数，初始状态下无旋转参数。
[0103] S32.利用关节点之间的拓扑结构连接关系，建立手部关节点模型M，如图3所述：
[0104]
[0105] 其中，Jr。。*表示整个手部模型的根节点，JWrist为手腕骨骼点，对于人的每个手指包 括4个关节点，从手掌到指尖依次为MCP、PIP、DIP和TIP关节点，对应的模型中关节点为 ^和^5,且每个手指的关节点依次连接。
[0106] S33.根据手掌姿态0P求出手部的所有关节点，既可以初步求出整个手部关节点的 位置，对于任意一个关节点心，关节点位置P 1计算如下：
[0107] pi = Rg* AR* AT+pi-1
[0108]其中，Rg表示父节点的旋转参数，产1为关节点心的父节点位置。
[0109] S34.得到关节点Ji的位置P1后，更新关节点Ji的旋转参数，即Rg = Rg*AR。
[0110] S35.通过上述方法计算所有关节点的第一位置{Pd，第一位置斤^是三维空间点， 将所有关节点的第一位置{Pd转换到图像坐标系下：
[0112]得到所有关节点的第二位置{P，}，其中，f为相机焦距，rows为图像序列，cols为 图像行数，{?1} = 0八，2}为三维点，{?1，= {^7}为转换后的图像点。
[0113]至此，利用深度数据，通过手部区域分割，并检测手掌姿态0P，接着结合手部骨骼 模型，初步计算出各个关节点的第二位置{Pf}。
[0114] 前文得到手部各个关节点位置，并投影到图像坐标系下为第二位置{P，}，在手部 R0I区域(感兴趣区域)1中进行显示，会发现手指姿态仍存在错误，因此，还需要对手指姿态 进行校正。
[0115] S4.如图4所示，计算手部各关节点的投影特征。
[0116] 所述步骤S4包括以下子步骤：
[0117] S41.将手部各个关节点投影到深度图像中之后，如果手部所处的姿态与实际图像 中的手部姿态吻合，则手指关节点的投影位置和图像数据相符合，而此时由于手指姿态为 进行估计，手指关节点与深度图像相背离，表现在关节点三维坐标对应的深度值和在图像 中对应像素值之间的偏差很大。因此，设计关节点的投影特征为A :
[0118] A =(Z(Pi)-I(Pi2D+Ut))/Z(Pi)
[0119] Ut = (m，n)，mG [_t，+t]，nG [_t，+t]
[0120] 式中，投影特征A表示将当前关节点相机坐标系下的深度值与图像中深度值做差 后与深度值之比;Pi2D+U t表示P，的八个方向上距离为t的点坐标，Z(P〇为三维点P^Z坐标 值;Ut即为点的八个方向的偏移量。
[0121] 单个关节点的偏差并不鲁棒，则采用关节点P4P近周围8个像素的偏差比一起来 描述此点的投影特征，如果关节点投影正确，则周围像素的投影特征A接近0，一但关节点 与深度图像偏差较大，对应的投影特征A为1。这种方式能很好的描述单个关节点的投影问 题。
[0122] S42.单个手指中的所有关节点对应的投影特征为：
[0123] X/=|A;},/G[l,5],gG[l,4]
[0124] 式中，f表示手指编号，g表示手指中关节点的编号；由于手指与手指之间的姿态是 相互独立的，因此对于每根手指的投影状态需要分开描述。
[0125] S43.采用投影特征A可以描述第f根手指在当前参数0f下的投影情况，对于手指f 的第g个关节点而言，利用其关节点参数巧和真实标签否$判断此关节点的参数是否正确：
[0127] 式中，max(巧)表示第f根手指的g个关节点的最大运动角度；哼表示当前手指f的 第g关节点参数，0为手指f?的第g关节点的真实参数，abs为绝对值。
[0128] 若关节点参数巧和真实标签男之间的偏差大于阈值，则认为此关节点的参数不正 确，其校正值为此关节点的最大夹角与当前的关节点参数巧之差。
[0129] S44.对于单个手指f，其校正状态为各个关节点校正状态的并集：
[0130] )~={Kf}/e[l，5]，ge[l，4](.
[0131] S45.为了能更方便的表示手指校正状态，可以按照关节点顺序进行二进制编码的 方式，则手指f的校正状态为：
[0132] Yf = 23* Yj^Yf + Yj 〇
[0133] 按照对单个手指提取投影特征Xf，以及手指校正状态Yf，很容易采用通过训练分类 器的方式实现对手指姿态的校正。
[0134] S5.根据手部各关节点的投影特征进行手指姿态校正。本实施例将手指姿态的校 正问题转化为分类。
[0135] 所述步骤S5包括以下子步骤：
[0136] S51.获取训练数据和训练样本;所述训练数据为手势图像I与对应的姿态标注0， 训练样本为手指投影偏差特征与校正状态。
[0137] S52.训练分类器，将训练得到的分类器记为C，则：
[0138] Yf = C(Xf)；
[0139] 所述步骤S52中的分类器为普通多类别分类模型，普通多类别分类模型为SVM模型 或随机森林模型，且普通多类别分类模型不限于为SVM模型或随机森林模型。
[0140] S53.在线阶段，对于手部深度图像，利用手部各个关节点在深度图像下的第二位 置{P，}、各个手指的关节点的投影特征Xf和训练好的分类器C，计算各个手指的校正状态 并进行校正，分别进行校正，从而实现对手指姿态的正确估计，得到手指姿态0f。
[0141] S54.联合手指姿态0f和手掌姿态0P实现对手部姿态的快速估计。
[0142] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的 形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本 文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进 行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围 内。
【主权项】
1. 一种基于深度信息和校正方式的手部姿态估计方法，其特征在于:包括以下步骤：51. 获取手部深度数据，并从手部深度数据中分割出手部区域；52. 根据手部区域检测手掌姿态；53. 结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；54. 计算手部各关节点的投影特征；55. 根据手部各关节点的投影特征进行手指姿态校正。2. 根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S1包括以下子步骤：511. 获取手部深度数据；512. 获得包括第一手腕点Pwrist的人体骨骼图像；513. 将第一手腕点Pwrist变换到图像坐标系下，得到第二手腕点位置且 C令:h514. 以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域Rect1: Recti = {m,n} ,mG [x-t,x+t] ,nG [y~t,y+t]；515. 取第一矩形区域Recti中像素值之和的平均值作为第一手腕点Pwrist对应的深度 值；516. 将深度数据的阈值范围保持在[ZPalm_t，ZPalm]，其中，Z P表示第一手腕点Pwrist对应 的深度值，通过阈值化处理从手部深度数据分割出手部区域。3. 根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S2包括以下子步骤：521. 计算手部区域的第一中心点尽^，并将第一中心点@转换到三维坐标系下，得到 第二中心点PCen;522. 利用第二中心点PCen和第一手腕点pwrist计算出从手掌到手指的第一方向Vy，并进 行归一化处理，其中： Vy - PHand-Pwrist ；523. 在第一中心点发射出与第一方向Vy相垂直的直线，该直线与手部区域轮廓交 于第一交点/SL和第二交点;524. 以第一手腕点Pwrist、第一交点P/i和第二交点角定手掌平面，并求出手掌平 面的平面法向量Vz;525. 根据第一方向Vy和平面法向量1计算出当前的手掌姿态0P。4. 根据权利要求3所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S25包括以下子步骤： 5251. 定义初始时手指方向为《，手掌方向为巧，由手指方向巧变换到第一方向Vy的旋 转操作表示为四元数Q y，则K=gv; 5252. 利用四元数Qy将最初的手指方向巧进行方向更新，即得到从手掌方 向^0变换到平面法向量Vz的旋转四元数Qz，其中这，巧； S253.当前的手掌姿态0P包括三维平移Rt和三维旋转Rg，其中，三维平移Rt为第二中心点 PCen，三维旋转Rg为四元数Qy和旋转四元数QZ的复合操作，Rg = Qy*QZ。5. 根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S3包括以下子步骤：531. 定义每个关节点为Ji = { A T，A R}，A T表示此关节点相对于父节点的距离，A R表 示此关节点相对于父节点的旋转参数；532. 建立手部关节点模型M:其中，九_表示整个手部模型的根节点，J^st为手腕骨骼点，Jf' 和表 示每根手指包括的四个关节点；533. 根据手掌姿态0P求出手部的所有关节点，对于任意一个关节点心，其位置P1计算如 下： pi = Rg* AR* AT+pi-1 其中，Rg表示父节点的旋转参数，P1-1为关节点心的父节点位置；534. 得到关节点Ji的位置P1后，更新关节点Ji的旋转参数，即Rg = Rg* A R;535. 计算所有关节点的第一位置{Pj，将所有关节点的第一位置斤^转换到图像坐标 系下：得到所有关节点的第二位置其中，f为相机焦距，rows为图像序列，cols为图像 行数，斤:丨二以八^丨为三维点^片^^^^^为转换后的图像点。6. 根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S4包括以下子步骤：541. 设计关节点的投影特征为A : A =(Z(Pi)-I(Pi2D+Ut))/Z(Pi) Ut = (m，n)，mG [_t，+t]，nG [_t，+t] 式中，投影特征A表示将当前关节点相机坐标系下的深度值与图像中深度值做差后与 深度值之比；Pi2D+Ut表示Pi2D的八个方向上距离为t的点坐标;Z(Pi)为三维点Pi的Z坐标值； Ut即为点的八个方向的偏移量；542. 单个手指中的所有关节点对应的投影特征为： ;={A，}，/e[l，5]，ge[l,4] 式中，f表示手指编号，g表示手指中关节点的编号；543. 对于手指f?的第g个关节点而言，利用其关节点参数，和真实标签刃判断此关节点 的参数是否正确：式中，maX($)表示第付艮手指的g个关节点的最大运动角度;％表示当前手指f的第 g关 节点参数，巧为手指f?的第g关节点的真实参数，abs为绝对值； 若关节点参数#和真实标签男之间的偏差大于阈值，则认为此关节点的参数不正确， 其校正值为此关节点的最大夹角与当前的关节点参数巧之差；544. 对于单个手指f，其校正状态为其各个关节点校正状态的并集： y/={>7}/E[i,5],ge[i,4]；545. 按照关节点顺序进行二进制编码的方式，则手指f的校正状态为： :尽=23 * #+22 * + $ 07. 根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S5包括以下子步骤：551. 获取训练数据和训练样本；552. 训练分类器，将训练得到的分类器记为C，则： Yf = C(Xf)；553. 计算各个手指的校正状态并进行校正，得到手指姿态0f;554. 联合手指姿态0f和手掌姿态0P实现对手部姿态的估计。8. 根据权利要求7所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述训练数据为手势图像I与对应的姿态标注9，训练样本为手指投影偏差特征与校 正状态。9. 根据权利要求7所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征 在于:所述步骤S52中的分类器为普通多类别分类模型。
【文档编号】G06F3/01GK106055091SQ201610321710
【公开日】2016年10月26日
【申请日】2016年5月16日
【发明人】姬艳丽, 程洪, 李昊鑫
【申请人】电子科技大学