姿势状态分类的利记博彩app

专利名称：姿势状态分类的利记博彩app
技术领域：
本发明涉及交互系统，更具体地，涉及姿势状态分类。
背景技术：
无控制器交互系统，例如游戏系统可以至少部分由自然运动控制。在一些例子中， 这样的系统可采用深度传感器或者其他合适的传感器来估计用户的运动并将估计的运动转换为对系统的控制台的命令。然而，在估计用户的运动时，这些系统只能估计用户的主要关节，例如骨架估计，并且缺乏检测细微姿势的能力。

发明内容
因此，在此披露涉及用户的身体部位的姿势估计的各实施例。例如，在一个披露的实施例中，从传感器接收图像，其中此图像至少包括用户图像中含有此身体部位的一部分。 从图像中估计用户的骨架信息，至少部分地基于骨架信息来识别与此身体部位对应的图像区域，提取此区域的形状描述符，并根据训练数据分类此形状描述符以估计此身体部位的姿势。随后可基于所估计的身体部位的姿势来输出响应。提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。 本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。


图I示出用户使用由深度摄像机捕捉的自然运动来与无控制器游戏系统的一实施例交互的示意图。图2示出根据本发明一实施例的确定用户的手部状态的示例性方法。图3例示根据本发明一实施例的确定用户的手部状态的示例性方法。图4示意性示出根据本发明的一实施例的计算系统。
具体实施例方式无控制器交互系统，例如图I的10所示的游戏系统可采用捕捉设备12，例如深度摄像机或其他合适的传感器来估计用户14的运动。可以用各种不同方式估计用户14的运动。在一示例性方式中，可采用骨架映射来从用户图像中估计一个或多个关节位置。可将所估计的用户运动转换成对系统的控制台16的命令。在某些示例中，这样的命令可允许用户与在显示设备20上的18处显示的游戏进行交互。例如，当用户14与对象，例如显示在显示设备20上的对象26交互时，可在显示设备20上显示用户14的图像28。但是运动估计例程，例如骨架映射可能缺乏检测用户的细微姿势的能力。举例来说，这些运动估计例程可能缺乏检测和/或辨别用户的细微手部姿势的能力，例如在图I的22和24处分别示出的用户张开和闭合手部这样的细微手部姿势。因此下面描述的系统和方法将涉及用户手部状态的确定。举例来说，闭合或张开手部的动作可被这样的系统使用，用于触发诸如选择动作、参与动作、或抓握及拖曳屏幕上的对象(例如对象26)的动作之类的事件，这些动作在使用控制器时将对应于按下按钮。这些经过提炼的无控制器交互可用作基于手部挥舞或回旋的替换，后者可能是非直观或麻烦的。通过此处以下描述的用户手部状态的确定，用户与系统的交互可以更多、更简单，且可以向用户呈现更直观的界面。图2示出根据本发明一实施例的确定用户手部状态的示例性方法200，图3例示根据本发明一实施例的确定用户手部状态的示例性方法，例如方法200的各种步骤。由于图 3包括图2的各步骤的示意图例，以下将结合图2和图3 —起描述。在202，方法200从捕捉设备，例如图I所示的捕捉设备12接收深度图像。捕捉设备可以是捕捉三维图像数据的任意合适设备，例如深度摄像机。捕捉设备捕捉的深度图像包括用户图像中的至少一部分，这一部分包含手部。举例来说，如图I所示，用户14可以和计算系统10交互，计算系统10通过捕捉设备12捕捉用户的图像。图3中的302例示用户一部分的深度图像。深度图像中的每一像素包含深度信息， 例如图3中例示的灰度梯度。举例来说，在302，如用户左手的更黑区域指示的那样，左手比右手更靠近捕捉设备。捕捉设备或深度摄像机捕捉观察场景内的用户。如下所述，用户的深度图像可被用来确定用户的各区域的距离信息、用户的尺寸信息、曲线和用户的骨架信息。在204，方法200包括从步骤202所获得的深度图像中，估计用户的骨架信息以获得虚拟骨架。举例来说，在图3中示出从302所示的用户深度图像中估计的虚拟骨架304。 可以从302的深度图像导出虚拟骨架304从而提供用户(例如用户14)的机器可读表示。 可以用任何合适方式来从深度图像中导出虚拟骨架304。在某些实施例中，可以对深度图像应用一种或多种骨架适应算法。应理解可以使用任意合适的骨架建模技术。虚拟骨架304可包括多个关节，每一关节对应用户的一个部位。为清楚理解，图 3的例示是经过简化的。根据本发明的虚拟骨架可包括任意合适数量的关节，每一关节可以几乎任意数量的参数相关联(例如，三维关节位置、关节旋转、对应身体部位的部位姿势等)。应理解虚拟骨架可采取数据结构的形式，其包括用于多个骨架关节中的每个关节的一个或多个参数(例如，包含每一关节的X坐标、y坐标、z坐标和旋转的关节矩阵)。在某些实施例中，可使用其他类型的虚拟骨架(例如线框、形状描述符集合等)。如前所述，已有的从深度图像进行的运动估计，例如上述的骨架估计，可能缺少检测用户的细微姿势的能力。举例来说，这些运动估计例程可能缺乏检测和/或辨别用户的细微手部姿势的能力，例如在图I的22和24处分别示出的用户张开和闭合手部这样的细微手部姿势。另外，在更深处的深度图像分辨率有限，与不同年龄和/或体型的用户之间的手部尺寸变化、手部相对于捕捉设备的方位变化结合在一起，可能增加检测和分类经过提炼的姿势，例如张开和闭合手部的难度。但是所估计的这一骨架可用于估计用户的各种其他物理特征。举例来说，骨架数据可用于估计用户身体和/或身体部位尺寸、一个或多个用户身体部位相对于彼此和/或捕捉设备的方位、一个或多个用户身体部位相对于捕捉设备的深度，等等。如以下描述的， 随后可利用用户物理特征的这些估计，在检测和分类用户的手部状态时进行标准化和减少差异。在206，方法200包括分割用户的单手或手。在某些示例中，除手之外，方法200可另外包括分割一个或多个身体区域。分割用户的手部包括识别深度图像中对应于手部的区域，其中识别至少是部分基于步骤204中所获得的骨架信息。同样地，可以使用与下述类似的方式来识别用户身体的任何区域。在306，图3例示根据所估计的骨架304将用户的深度图像分割成由不同阴影表示的不同区域的示例。特别是，图3示出所定位的手部区域308，其对应用户举起的右手。可以用各种方式来分割或定位手部或身体区域，并可基于上文描述的骨架估计中识别的选择关节。作为一示例，深度图像中的手部检测和定位可以是基于所估计的骨架中估计的手腕和/或手末端关节。举例来说，在某些实施例中，深度图像中的手部分割可以是使用以下步骤执行对手部关节周围的深度图像使用拓扑搜索，定位深度图像中附近的局部极值作为指尖的候选，通过考虑从所估计的骨架中确定的身体尺寸缩放因子以及边界识别的深度不连续性来分割手部的其他部分。作为另一示例，可采用泛色填充法来鉴别深度图像中与用户手部对应的区域。在泛色填充法中，可以从初始点和初始方向开始搜索深度图像，例如初始点可以是腕关节，初始方向可以是从肘部到腕关节的方向。可基于在初始方向上的投影来迭代存储深度图像中的邻近像素，作为对远离肘部且朝向手末端的点赋予偏好的方式，而可使用深度一致性约束，例如深度不连续性来识别深度图像中用户手部的边界或极值。在某些示例中，例如可使用阈值距离值，基于固定值或按比例地基于用户估计尺寸同时在初始方向的正向和反向上限制深度图搜索。作为另一示例，可使用根据骨架关节(例如腕或手末端关节)放置的边界圆或其他合适的边界形状来包含深度图像中的所有像素，直到深度不连续。例如，可将窗口划过边界圆以识别深度不连续，这可用于在深度图像的手部区域中建立边界。在某些方法中，当用户向外举起手或将手举过躯干时可执行手部区域分割。这样， 由于手部区域更容易和身体区分，因此深度图像中的手部区域识别会较不模糊。应理解上述的示例性手部分割的例子是作为举例目的提出，并不旨在限制本发明的范围。通常，任何手部或身体部位分割方法都可单独使用，彼此结合使用，和/或与上述的一种示例性方法结合使用。继续图2的方法200，在208，方法200包括提取区域，例如在206中识别的深度图像中与手部对应的区域的形状描述符。在步骤208提取的形状描述符可以是手部区域的任意合适的表示，其用于例如基于下述的训练数据来分类手部区域。在某些实施例中，形状描述符可以是用于编纂或描述手部区域形状的矢量或数字集合。在某些示例中，形状描述符可以是相对于一个或多个变换，例如一致(平移、旋转、映像等)、等距、深度改变等保持不变。例如，可以用这样一种方式提取形状描述符，使之对手部相对于捕捉设备或传感器的方位或位置保持不变。还可使形状描述符相对于映像不变，在这一情况下，不区分左手和右手。此外，如果形状描述符不是相对于映像不变的，则它一直需要被通过左右翻转输入图像来进行镜像，从而使每一只手的训练数据量加倍。此外， 形状描述符可被基于估计的身体尺寸标准化，从而相对于不同用户之间的身体和或手部差异保持基本不变。另选地，可预先执行校准步骤，其中预估计个人尺寸，在这种情况下，描述符不必是尺寸不变的。作为形状描述符提取的一个示例，可构建在步骤206中识别的手部区域中与手部区域质心的距离柱状图。例如，这一柱状图可包括15个柱，其中每个柱包括手部区域中到质心的距离在特定距离范围内的点的数量，这一特定距离范围与这个柱关联。例如，这一柱状图中的第一个柱可包括手部区域中到质心的距离在O和O. 40厘米之间的点的数量，第二个柱包括手部区域中到质心的距离在O. 4和O. 80厘米之间的点的数量，以此类推。这样， 可构建一个矢量来编纂手部的形状。这些矢量例如还可根据估计的身体尺寸被标准化。在另一示例性方法中，可基于手部区域中的点到关节的距离和/或角度、来自用户的估计骨架(例如肘关节、腕关节)的骨节或手掌平面等来构建柱状图。形状描述符的另一示例是傅里叶描述符。傅里叶描述符的构建包括编纂手部区域的轮廓，例如通过将手部区域中从每一像素到手部区域的周界的距离对照手部边界的椭圆匹配的半径绘图，然后在图上执行傅里叶变换。此外，可相对于所估计的身体尺寸标准化这些描述符。这些描述符可以是相对于平移、缩放和转换不变的。构建形状描述符的另一示例包括确定手部的凸性，例如通过确定手部区域的轮廓中一个区域相对于手部区域的凸包的比例。应理解，上述的这些示例性描述符本质上是示例性的，并非旨在限制本发明的范围。通常，手部区域的任意合适形状描述符都可单独使用，或彼此结合使用，和/或与上述的一种示例性方法结合使用。例如，诸如上述的柱状图或矢量的形状描述符可以混合并匹配、结合、和/或连接到更大的矢量中，等等。这可允许识别那些不能够通过孤立地查看它们来识别的新图案。继续方法200，在210，方法200包括分类手部的状态。例如，可根据训练数据对在步骤208提取的形状描述符进行分类以估计手部的状态。举例来说，如图3的310处所例示，手部可被分类为张开或闭合。在某些示例中，训练数据可包括经过标注的各种手部状态的深度图像示例。训练数据可以是真实的或合成生成的，描绘不同身体尺寸和手臂方位的全部或上身3D模型以及不同的连贯手部姿势，这些不同的连贯手部姿势是基于运动捕捉或手工设计的手部姿势。可降低合成图像的质量以模拟有噪声的真实图像。在某些示例中，在分类步骤210中使用的训练数据可以是基于预先确定的手部示例集合。可以对照手部区域的形状描述符比较各个手部状态，根据各个手部状态来分组或标注手部示例。在某些示例中，可使用不同的元数据来划分训练数据。例如，训练数据可包括多个手部状态示例并例如根据以下的一个或多个进行划分手的侧向(例如左或右)，手的方位 (例如低手臂角度或低手臂方位)，深度，和/或用户的身体尺寸。将这些训练手部示例划分为单独的子集可降低每一部分中手部形状的变化性，这使得手部状态的整体分类更准确。另外在某些示例中，训练数据可以是特定于个别应用程序的。也就是说，训练数据可依赖于在给定应用程序中的期望动作，例如游戏中的期望活动等。此外在某些示例中，训练数据可以是用户特定的。例如，应用程序或游戏可包括训练模块，其中用户执行一个或多个训练练习以校准训练数据。例如，用户可作出一系列张开或闭合手的姿势以建立训练数据集，训练数据集用于在与系统的后续交互期间估计用户手部状态。
可以各种方式给予训练示例来执行用户手部分类。例如，可在分类中采用各种机器学习技术。非限制性示例包括支持矢量机训练、回归、近邻取样、(未)监督聚类等等。如上所述，这些分类技术可使用各种手部状态的标注深度图像示例，用于预测所观察的手部是多个状态之一的可能性。另外，可以在分类步骤期间或之后向分类添加置信度。例如，可以根据训练数据或通过将S函数或其他合适的误差函数适配到分类步骤的输出，来将置信区间赋予所估计的手部状态。作为分类手部状态的简单、非限制性示例，有两种可能的手部状态，张开或闭合， 例如图3的310处所示。在这一示例中，训练数据可包括两种标注手部集合表示张开或近似张开的手部状态的手部示例的第一集合和表示闭合或近似闭合的手部状态的手部示例的第二集合。这样，当给定识别的手部区域的提取的形状描述符时，可以将识别的手部区域的提取的形状描述符与第一(张开)和第二(闭合)手部集合的手部示例比较以确定识别的手部区域落入每一集合的可能性。随后可根据更高的可能性估计出手部的状态。例如，如图3的310处所示，识别的手部区域被确定为有更高的可能性是张开的， 从而被如此分类。另外在某些示例中，被确定的识别的手部为特定手部状态的可能性可以用来建立手部状态估计的置信区间。可采用各种分类后滤波步骤来提高手部状态估计的准确性。因此方法200在211 可包括滤波步骤。例如，可对预测的连续深度图像帧之间的手部状态应用时间一致性滤波， 如低通滤波步骤，以平滑预测并减少时间抖动，例如由虚假手部运动、传感器噪声、或偶然分类错误引起的时间抖动。也就是说，可执行根据来自捕捉设备或传感器的多个深度图像的用户手部的多个状态的估计，以及执行多个估计的时间滤波以估计手部状态。此外，在某些示例中，分类结果可以偏向一个状态或另一状态(例如偏向张开或闭合手)，因为某些应用程序可能比其他应用程序对虚假正值(在一个方向或另一方向)更敏感。继续方法200，方法200在212包括基于所估计的手部状态输出响应。例如可输出命令给计算系统的控制台，例如计算系统10的控制台16。作为另一示例，可输出响应给显示设备，例如显示设备20。这样，估计的用户运动，包括估计的手部状态可被转换成给系统 10的控制台16的命令，从而用户可以如上述般与系统交互。此外，可执行上述的方法或过程以确定用户身体任何部位的状态估计，例如嘴巴、眼睛等。例如，可以使用上述的方法估计用户身体部位的姿势。此处描述的方法和过程可以结合到各种不同类型的计算系统。上述的计算系统10 是非限制性的示例系统，其包括游戏控制台16、显示设备20、以及捕捉设备12。作为另一更通用的示例，图4示意性地示出可执行此处描述方法和过程中的一个或多个的计算系统 400。计算系统400可采用各种不同形式，包括但不限于，游戏控制台、个人计算系统、以及音频/视觉剧场、以及其它。计算系统400可包括逻辑子系统402、在操作上连接到逻辑子系统的数据保存子系统404、显示子系统406、和/或捕捉设备408。计算系统可任选地包括未示出于图4中的组件，并且/或者示出于图4中的某些组件可以是未被整合到计算系统中的周边组件。此外，计算系统400可以是网络，例如局域网或广域网的一部分。逻辑子系统402可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统402可被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外或另选地，逻辑子系统402可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统402可任选地包括分布在两个或多个设备上的独立组件，这些独立组件在某些实施例中可远程放置。数据保存子系统404可包括一个或多个物理设备，该一个或多个设备被配置成保存可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现了此类方法和过程时，可变换数据保存子系统404的状态(例如，保存不同数据)。数据保存子系统 404可包括可移动介质和/或内建设备。数据保存子系统704可包括光存储设备、半导体存储和储存设备(例如RAM、EEPR0M,闪存等)、和/或磁储存设备，以及其它。数据保存子系统404可以包括带有以下各项特征中的一个或多个的设备易失性、非易失性、动态、静态、 读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可将逻辑子系统402和数据保存子系统404集成到一个或多个常见设备中，如专用集成电路或片上系统。图4还示出使用计算机可读可移动储存介质416形式，例如DVD、⑶、软盘、和/或磁带驱动器的数据保存子系统的一方面，该方面可用于存储和/或传送可执行以实现此处所述的方法和过程的数据和/或指令。显示子系统406可用于呈现由数据保存子系统404保存的数据的可视表示。由于此处所描述的方法和过程改变了由数据保存子系统保持的数据，并由此转变了数据保存子系统的状态，可类似地转变显示子系统406的状态以可视地表示底层数据中的改变。显示子系统406可包括使用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统402和/或数据保存子系统404 —起组合在共享封装中，或此类显示设备可以是外围显示设备。计算系统400还包括被配置成获得一个或多个目标和/或场景的深度图像的捕捉设备408。捕捉设备408可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备408可包括深度摄像机、视频摄像机、 立体摄像机、和/或其他合适的捕捉设备。例如，在飞行时间分析中，捕捉设备408可发射红外光到场景，随后使用传感器检测来自场景表面的反向散射光。在某些情形中，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备到场景中的特定位置的物理距离。在某些情形中，可比较向外的光波的相位和向内的光波的相位以确定相位偏移，相位偏移可用于确定从捕捉设备到场景中的特定位置的物理距离。在另一示例中，可使用飞行时间分析，通过经由例如快门式光脉冲成像的技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备到场景中的特定位置的物理距离。在另一示例中，捕捉设备408可利用结构化光分析来捕捉深度信息。在这一分析中，图案化光(例如，被显示为诸如网格图案或条纹图案等已知图案的光)可被投影到场景上。在场景的表面上，图案成为变形的，而图案的这一变形可被研究以确定从捕捉设备到场景中的特定位置的物理距离。
在另一示例中，捕捉设备可包括两个或更多物理上分离的摄像机，它们从不同角度观察场景以获得可视立体数据。在这些情形中，可分解可视立体数据以生成深度图像。在其他实施例中，捕捉设备408可利用其他技术测量和/或计算深度值。在某些实施例中，可将两个或更多摄像机整合到一个集成捕捉设备中。例如，可将深度摄像机和视频摄像机(例如RGB视频摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多单独的捕捉设备。例如，可使用深度摄像机和分离的视频摄像机。当使用视频摄像机时，它可用于提供目标追踪数据、确认数据以用于场景分析、图像捕捉、脸部识别、高精度手指(或其他小特征)追踪、光感应、和或其他功能的错误修正。在某些实施例中，可将两个或更多深度和/或RGB摄像机放置在主题的不同侧面以获得此主题的更完整3D模型，或进一步改善手部周围观察的分辨率。在其他实施例中，可使用单个摄像机以例如获得RGB图像，且可基于颜色，例如手部的颜色来分割图像。应理解可由一个或多个捕捉设备的逻辑机器来执行至少某些深度分析操作。捕捉设备可包括被配置为执行一个或多个深度分析功能的一个或多个板上处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。例如，计算系统400还可包括被配置成执行一个或多个指令的各种子系统，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。 这样的子系统可以在操作上连接到逻辑子系统402和/或数据保存子系统404。在某些示例中，这些子系统可被实现为储存在可移动或不可移动的计算机可读储存介质上的软件。例如，计算系统400可包括被配置为识别深度图像中与手部对应的区域的图像分割子系统410，这一识别至少部分地基于骨架信息。计算系统400可另包括描述符提取子系统412，其被配置为提取被图像分割子系统410识别的区域的形状描述符。计算系统400 还可包括分类器子系统414，其被配置为基于训练数据分类形状描述符以估计手部状态。应该理解，此处所述的配置和/或方法在本质上示例性的，且这些具体实施例或示例不应视为限制性的，因为可能存在许多种变体。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。应理解，在此描述的检测张开和闭合手部的示例本质上是示例性的，并非旨在限制本发明的范围。在此描述的方法和系统可被应用于估计深度图像中的各种提炼的姿势。 例如，可使用在此描述的系统和方法来估计各种其他手部轮廓。非限制性示例包括拳头姿势、张开的手掌姿势、手指指点等。本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。
权利要求
1.用于估计用户身体部位的姿势的方法(200)，包括从传感器(12)接收(202)图像(28)，所述图像(28)包括用户(14)的图像中的至少一部分，所述至少一部分含有所述身体部位；从所述图像(28)估计(204)所述用户(14)的骨架信息；识别(206)所述图像(28)中对应于所述身体部位的区域(308)，所述识别至少部分地基于所述骨架信息；提取(208)所述区域(308)的形状描述符；基于训练数据分类(210)所述形状描述符来估计所述身体部位的姿势；以及根据所估计的身体部位的姿势输出(212)响应。
2.如权利要求I所述的方法，还包括根据所述骨架信息中各关节之间的至少一段距离来估计身体尺寸缩放因子，并根据所述身体尺寸缩放因子标准化所述形状描述符。
3.如权利要求2所述的方法，其中识别所述图像中对应于所述身体部位的区域包括使用基于所述身体尺寸缩放因子的地形搜索。
4.如权利要求I所述的方法，其中识别所述图像中对应于所述身体部位的区域是至少部分地基于泛色填充法。
5.如权利要求I所述的方法，其中所述身体部位是手，且估计所述身体部位的姿势包括估计手是张开或是闭合。
6.如权利要求I所述的方法，还包括根据来自所述传感器的多个图像来估计所述身体部位的多个姿势，并且执行多个估计的时间滤波以估计所述身体部位的估计姿势。
7.如权利要求I所述的方法，还包括向所述身体部位的估计姿势分配置信区间。
8.如权利要求I所述的方法，其中基于训练数据分类所述形状描述符来估计所述身体部位的姿势是基于至少一种机器学习技术。
9.如权利要求I所述的方法，其中所述身体部位是手，且所述训练数据基于元数据来划分，所述元数据包括以下至少之一手的方位、低手臂角度、低手臂方位、深度、以及用户的身体尺寸。
10.一种包括储存于其上的指令的计算机可读储存介质，所述指令可被计算设备 (400)执行以从深度摄像机(12)接收(202)深度图像(28)，所述深度图像(28)包括用户(14)的图像中的至少一部分，所述至少一部分含有手；从所述深度图像(28)估计(204)所述用户(14)的骨架信息；识别(206)所述深度图像(28)中对应于所述手的区域(308)，所述识别至少部分地基于所述骨架信息；提取(208)所述区域(308)的形状描述符；基于训练数据分类(210)所述形状描述符来估计所述手的姿势，其中所述训练数据是基于元数据来划分，所述元数据包括以下至少之一手的方位、深度、以及用户的身体尺寸； 以及基于所估计的手的估计状态输出(212)响应。
全文摘要
披露了姿势状态识别以及估计用户身体部位姿势的系统和方法。在一个披露的实施例中，从传感器接收图像，其中此图像至少包括用户图像中含有此身体部位的一部分。从图像中估计用户的骨架信息，至少部分地基于骨架信息来识别与此身体部位对应的图像区域，提取此区域的形状描述符，并根据训练数据分类此形状描述符以估计此身体部位的姿势。
文档编号G06K9/00GK102591459SQ201110447930
公开日2012年7月18日 申请日期2011年12月28日 优先权日2010年12月28日
发明者A·A-A·基普曼, A·巴兰, J·肖顿, M·西迪基, O·M·C·威廉姆斯, R·M·盖斯 申请人:微软公司