专利名称：一种人体跟踪方法及系统的利记博彩app
技术领域：
本发明涉及一种人体跟踪方法及系统，更具体地说，涉及一种当人体运动出现部 分部位被其他部位遮挡时采用拟合算法获得被遮挡部位的位置状态的人体跟踪方法及设备。
背景技术：
随着游戏开发者技术水平的提高，出现了让用户感受更真实的例如体感游戏，此 类游戏需要处理计算人体的运动状态。常见的体感游戏系统中，WII、Cyffee等采用如加速 度计、陀螺仪等惯性传感器，捕捉人体运动的加速度、方向等信息。但当需要描述人体多个 部位时，使用惯性传感器，不仅成本高，使用也极其不便；在此情况下，出现了采用光学捕捉 的方法在需要计算运动的人体部位粘贴相应的标记点，通过分析标记点的运动状态描述人 体运动，当需要描述人体多个部位时，通过增加标记点的数量，可以以较低的成本实现体感 功能，然而用户使用时却会因标记点的存在尤其是大量标记点的存在而感觉繁琐。此后，随 着计算的进一步发展，出现了无标记点的人体运动捕捉方案，即通过立体视觉系统、结构光 系统、以及ToF(飞行时间time offlight)摄像机等数据源捕捉人体3D点云，通过分析人 体点云，可构建出人体模型，进而分析人体运动状态。然而目前的通过点云配准算法构建人 体模型的无标记点的人体运动捕捉方案存在以下问题由于点云数据源等原因，躯干部位 点的数量较多，头部、四肢等部位点数量较少，在点云分辨率较低以及一些如遮挡等极端情 况下，部分部位甚至不存在点，此时，利用点云配准算法构建人体模型的无标记点的人体运 动捕捉方案将完全失效。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述在点云分辨率较低以及一些 如遮挡等极端情况下，利用点云配准算法构建人体模型的无标记点的人体运动捕捉方案将 完全失效的缺陷，提供一种从低密度点云中构建人体模型的人体跟踪方法和系统。本发明解决其技术问题所采用的技术方案是提供一种人体跟踪方法，其特征在 于，包括以下步骤Si、采用线段表示四肢的上臂、下臂、大腿、小腿和头部，矩形表示躯干，根据人体 尺寸参数建立人体模型；S2、点云采集设备读取当前帧采集到的人体点云数据；S3、分别计算人体点云数据中每个点到表示上臂、下臂、大腿、小腿、头部的线段和 表示躯干的矩形面的距离，比较选择距离每个点最近的部位，并记录该点以及该部位，从而 得到每个点与该点最近的部位的配对，该处称为最近点对；S4、根据最近点对计算得到表示躯干的矩形的四条边线和表示头部的线段，同时 根据最近点对采用拟合算法计算得到表示四肢的线段，即计算得到人体姿态参数；S5、迭代步骤S3、S4，直至满足要求时退出；
S6、根据所得的表示躯干的四条边线和分别表示头部和四肢的线段输出人体模型。在本发明所述的人体跟踪方法中，所述步骤Sl中的用于表示躯干的矩形分为共 用一条边的上下两部分矩形，分别为第一矩形和第二矩形，在所述步骤S3中求最近点对时 分别计算每个点到第一矩形和第二矩形的距离，并在所述步骤S4中根据所述第一矩形和 第二矩形的最近点对计算出所述第一矩形、第二矩形所在的平面，两矩形所在平面的交线 即为两矩形共用的边所在直线；让所述第一矩形和第二矩形的最近点对向所述两矩形共用的边所在直线投影，根 据所述第一矩形和第二矩形的宽度，搜索线段使得落得线段范围内的投影的数量最多，所 述线段的两个端点即为所述第一矩形和第二矩形共用的边的两个顶点；根据所述第一矩形和第二矩形的高度计算所述第一矩形和所述第二矩形的其它 顶点，从而得到所述第一矩形和第二矩形。在本发明所述的人体跟踪方法中，所述第一矩形和第二矩形的高度固定，所述计 算所述第一矩形和第二矩形的其它顶点的方法为在所述第一矩形所在的平面内，分别求过所述第一矩形和所述第二矩形共用的边 的两个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，分别为第 一射线和第二射线，分别在所述第一射线和第二射线上求与所述第一射线、第二射线端点 距离为所述第一矩形的高度的点，称为第一端点，第二端点，所述第一矩形和所述第二矩形 共用的边的两个端点以及所述第一端点、所述第二端点构成所述第一矩形的四个顶点；在所述第二矩形所在的平面内，分别求过所述第一矩形和第二矩形共用的边的两 个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，分别为第三射 线和第四射线，分别在所述第三射线和第四射线上求与所述第三射线、第四射线端点距离 为所述第二矩形的高度的点，称为第三端点，第四端点，所述第一矩形和所述第二矩形共用 的边的两个端点以及所述第三端点、所述第四端点构成所述第二矩形的四个顶点。在本发明所述的人体跟踪方法中，所述第一矩形和第二矩形高度不固定但高度之 和固定，所述计算所述第一矩形和第二矩形其它顶点的方法为在所述第一矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点， 垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，称为第一射线；在所述第二矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点， 垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，称为第二射线；以所述第一矩形和第二矩形共用的边的中点为起始点，分别在所述第一射线和所 述第二射线上搜索第一端点和第二端点，使得所述第一矩形的最近点对中投影落在所述起 始点和所述第一端点之间的点的数量与所述第二矩形的最近点对中投影落在所述起始点 和所述第二端点之间的点的数量之和最大，并且所述起始点到所述第一端点的线段长度与 所述起始点到所述第二端点的线段长度之和等于所述第一矩形和第二矩形的高度之和；求在所述第一矩形所在的平面内，过所述第一端点平行于所述第一矩形和第二矩 形共用的边所在直线的直线，称为第一边界直线，在所述第一边界直线上，求与所述第一端 点距离为所述第一矩形宽度的一半的两个点，称为第三端点、第四端点，所述第一矩形和第 二矩形共用的边的两个端点以及所述第三端点、所述第四端点构成所述第一矩形的四个顶点。求在所述第二矩形所在的平面内，过所述第二端点平行于所述第一矩形和第二矩 形共用的边所在直线的直线，称为第二边界直线，在所述第二边界直线上，求与所述第二端 点距离为所述第二矩形宽度的一半的两个点，称为第五端点、第六端点，所述第一矩形和第 二矩形共用的边的两个端点以及所述第五端点、所述第六端点构成所述第二矩形的四个顶
点ο在本发明所述的人体跟踪方法中，所述步骤S4中采用拟合算法计算得到表示四 肢的线段的方法为所述上臂为所述下臂的父部位，所述下臂为所述上臂的子部位，所述大 腿为所述小腿的父部位，所述小腿为所述大腿的子部位，当父部位最近点与子部位的最近 点的比值大于某一数值时，则先采用拟合算法计算父部位的姿态参数，再拟合计算子部位 的姿态参数，进而得到父部位和子部位；当父部位的最近点与子部位的最近点数量比值小 于该数值时，则先拟合子部位所在的直线，再在该直线上查找一个到对应的躯干边线端点 的距离与父部位长度相等点作为父部位与子部位间的关节点，然后根据该关节点和父部位 与躯干之间的关节点得到父部位，再根据该关节点和子部位的长度得到子部位。在本发明所述的人体跟踪方法中，在步骤S3前，还包括根据模型重心和点云重心 的偏差，调整人体模型。在本发明所述的人体跟踪方法中，在步骤S4后，还包括根据人体模型的中头部信 息与通过所采集的点云计算得到的头部的最近点对信息，调整模型。本发明还提供一种人体跟踪系统，其特征在于，包括点云采集设备、模型初始化单 元、跟踪初值预测单元和人体跟踪单元，其中，所述点云采集设备包括点云采集模块，所述点云采集模块，用于读取当前帧采集到的点云数据；所述模型初始化单元，与所述人体跟踪单元连接，用于根据人体尺寸参数，采用线 段表示四肢的上臂、下臂、大腿、小腿和头部，矩形表示躯干构造人体模型；所述跟踪初值预测单元，与所述模型初始化单元和所述人体跟踪单元连接，用于 为所述人体跟踪单元提供初始人体模型状态信息；所述人体跟踪单元，与所述点云采集设备以及所述跟踪初值预测单元连接，用于 读取跟踪初值预测单元中的人体模型信息和所述点云采集模块采集的到点云数据，并以从 所述跟踪初值预测单元中读取的人体模型信息为初始值，对点云中每个点求取与该点距离 最近的人体部位，即最近点对，并根据最近点对计算得到表示躯干的矩形的四条边线和表 示头部的线段，同时根据最近点对采用拟合算法计算得到表示四肢的线段，即计算得到人 体姿态参数，然后将所述人体姿态参数传送给所述跟踪初值预测单元和/或输出。在本发明所述的人体跟踪系统中，所述人体跟踪单元进一步包括最近点对求取单 元，与所述最近点对求取单元连接的第一数据处理单元和第二数据处理单元，以及与所述 最近点对求取单元、所述第一数据处理单元和所述第二数据处理单元连接的控制单元，其 中所述最近点对求取单元，用于求取所述点云数据中的每个点到人体每个部位的距 离，比较选择距离每个点最近的部位，并记录该点以及该部位，从而得到每个点与该点最近 的部位的配对，该处称为最近点对；所述第一数据处理单元，用于根据最近点对计算得到表示躯干的矩形的四条边线和表示头部的线段，即人体模型的躯干和头部的姿态参数；所述第二数据处理单元，用于根据最近点对采用非线性拟合算法计算得到表示四 肢的线段，即人体模型的四肢的姿态参数；所述控制单元，用于控制所述最近点对求取单元、所述第一数据处理单元、所述第 二数据处理单元迭代运行，直至满足要求时，将所述人体姿态参数传送给所述跟踪初值预 测单元和/或输出。在本发明所述的人体跟踪系统中，表示躯干的矩形分为共用一条边的上下两部分 矩形，分别为第一矩形和第二矩形，在所述最近点对求取单元中求最近点对时分别计算每 个点到第一矩形和第二矩形的距离，并在第一数据处理单元中根据所述第一矩形和第二矩 形的最近点对计算出所述第一矩形、第二矩形所在的平面，两矩形所在平面的交线即为两 矩形共用的边所在直线；让所述第一矩形和第二矩形的最近点对向所述两矩形共用的边所在直线投影，根 据所述第一矩形和第二矩形的宽度，搜索线段使得落得线段范围内的投影的数量最多，所 述线段的两个端点即为所述第一矩形和第二矩形共用的边的两个顶点；根据所述第一矩形和第二矩形的高度计算所述第一矩形和所述第二矩形的其它 顶点，从而得到所述第一矩形和第二矩形。在本发明所述的人体跟踪系统中，所述第一矩形和所第二矩形的高度固定，在所 述第一数据处理单元中计算所述分别计算所述第一矩形和所述第二矩形的其他顶点在所述第一矩形所在的平面内，分别求过所述第一矩形和所述第二矩形共用的边 的两个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，分别为第 一射线和第二射线，分别在所述第一射线和第二射线上求与所述第一射线、第二射线端点 距离为所述第一矩形的高度的点，称为第一端点，第二端点，所述第一矩形和第二矩形共用 的边的两个端点以及所述第一端点、所述第二端点构成所述第一矩形的四个顶点；在所述第二矩形所在的平面内，分别求过所述第一矩形和第二矩形共用的边的两 个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，分别为第三射 线和第四射线，分别在所述第三射线和第四射线上求与所述第三射线、第四射线端点距离 为所述第二矩形的高度的点，称为第三端点，第四端点，所述第一矩形和所述第二矩形共用 的边的两个端点以及所述第三端点、所述第四端点构成所述第二矩形的四个顶点。在本发明所述的人体跟踪系统中，所述第一矩形和所述第二矩形高度不固定但高 度之和固定，在所述第一数据处理单元中计算所述分别计算所述第一矩形和所述第二矩形 的其他顶点在所述第一矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点， 垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，称为第一射线；在所述第二矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点， 垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，称为第二射线；以所述第一矩形和第二矩形共用的边的中点为起始点，分别在所述第一射线和所 述第二射线上搜索第一端点和第二端点，使得所述第一矩形的最近点对中投影落在所述起 始点和所述第一端点之间的点的数量与所述第二矩形的最近点对中投影落在所述起始点 和所述第二端点之间的点的数量之和最大，并且所述起始点到所述第一端点的线段长度与所述起始点到所述第二端点的线段长度之和等于所述第一矩形和第二矩形的高度之和；求在所述第一矩形所在的平面内，过所述第一端点平行于所述第一矩形和第二矩 形共用的边所在直线的直线，称为第一边界直线，在所述第一边界直线上，求与所述第一端 点距离为所述第一矩形宽度的一半的两个点，称为第三端点、第四端点，所述第一矩形和第 二矩形共用的边的两个端点以及所述第三端点、所述第四端点构成所述第一矩形的四个顶占.
^ \\\ 求在所述第二矩形所在的平面内，过所述第二端点平行于所述第一矩形和第二矩 形共用的边所在直线的直线，称为第二边界直线，在所述第二边界直线上，求与所述第二端 点距离为所述第二矩形宽度的一半的两个点，称为第五端点、第六端点，所述第一矩形和第 二矩形共用的边的两个端点以及所述第五端点、所述第六端点构成所述第二矩形的四个顶
点ο在本发明所述的人体跟踪系统中，在所述第二处理单元中采用拟合算法计算得到 表示四肢的线段所述上臂为所述下臂的父部位，所述下臂为所述上臂的子部位，所述大腿 为所述小腿的父部位，所述小腿为所述大腿的子部位，当父部位最近点与子部位的最近点 的比值大于某一数值时，则先采用拟合算法计算父部位的姿态参数，再拟合计算子部位的 姿态参数，进而得到父部位和子部位；当父部位的最近点与子部位的最近点数量比值小于 该数值时，则先拟合子部位所在的直线，再在该直线上查找一个到对应的躯干边线端点的 距离与父部位长度相等点作为父部位与子部位间的关节点，然后根据该关节点和父部位与 躯干之间的关节点得到父部位，再根据该关节点和子部位的长度得到子部位。在本发明所述的人体跟踪系统中，还包括重心调整单元，用于在所述控制单元控 制下根据模型重心和点云重心的偏差，调整人体模型。在本发明所述的人体跟踪系统中，还包括头部对齐单元，用于在所述控制单元控 制下根据人体模型的中头部信息与通过所采集的点云计算得到的头部的最近点对信息，调 整人体模型。实施本发明的人体跟踪方法和系统，具有以下有益效果由于点云数据源等原因， 躯干部位点的数量较多，头部、四肢等部位点数量较少，在点云分辨率较低以及一些如遮挡 等极端情况下，部分部位甚至不存在点，利用本发明所提供的方法及系统仍然能够很好地 构建人体模型，分析跟踪人体运动。
下面将结合附图及实施例对本发明作进一步说明，附图中图1是本发明一个实施例的程序流程图；图2是本发明一个实施例的人体模型示意图；图3是本发明一个实施例的点到线段的投影示意图；图4是本发明一个实施例的另一个点到线段的投影示意图；图5是本发明另一个实施例的人体模型示意图；图6是本发明一个实施例的中轴求取示意图；图7是本发明一个实施例的头部模型初始状态图；图8是本发明一个实施例的头部模型调整后的状态图9是本发明一个实施例的四肢模型示意图；图10是本发明一个实施例的系统示意图；图11是本发明另一实施例的系统示意图。
具体实施例方式如图1所示，在本发明的人体跟踪方法的第一实施例中，首先建立人体模型，建立 过程将在下面详细说明。然后利用点云采集设备(例如立体视觉系统、结构光系统、ToF(飞 行时间，time of flight)摄像机)读取当前帧采集到的特定人物的点云数据。接着分别 计算点云数据中每个点到表示上臂、下臂、大腿、小腿、头部的线段和表示躯干的矩形面的 距离，比较选择距离每个点最近的部位，并记录该点以及该部位，从而得到每个点与每个点 最近的部位的配对，该处称为最近点对，具体计算方法将在下面将详细说明。再接着，根据 最近点对计算表示躯干的矩形的四条边线和表示头部的线段，采用拟合算法计算表示四肢 的线段，并在计算最近点对步骤和计算人体模型的躯干的四条边线、头部线段和四肢线段 步骤之间，进行计算迭代，以满足需求(例如循环次数或者精度要求等)具体计算方法将在 下面详细说明。最后，根据所得的四条边线、和分别表示头部和四肢的线段输出人体模型。建立人体模型的过程如下如图2所示，采用线段分别表示四肢的上臂、下臂、大 腿、小腿和头部，采用矩形表示躯干，并根据人体学上的人体比例，通过人体参数建立人体 模型。所述人体参数分为尺寸参数和姿态参数两类，其中，人体尺寸参数在跟踪过程中 保持不变，姿态参数随着人体运动而变化。跟踪过程即计算人体的姿态参数并根据其调整 人体模型。尺寸参数可以在系统初始化时获取。人体各个部位的长度与身高存在比例关系， 不同性别的不同比例有所区别，该比例关系对于本领域的技术人员来说，可以很容易地从 人体学中获知。当不考虑性别的差异时，各部位尺寸与身高的比例如下表所示
权利要求
1.一种人体跟踪方法，其特征在于，包括以下步骤51、采用线段表示四肢的上臂、下臂、大腿、小腿和头部，矩形表示躯干，根据人体尺寸 参数建立人体模型；52、点云采集设备读取当前帧采集到的人体点云数据；53、分别计算人体点云数据中每个点到表示上臂、下臂、大腿、小腿、头部的线段和表示 躯干的矩形面的距离，比较选择距离该点最近的部位，并记录该点以及该部位，从而得到每 个点与该点最近的部位的配对，该处称为最近点对；54、根据最近点对计算得到表示躯干的矩形的四条边线和表示头部的线段，同时根据 最近点对采用拟合算法计算得到表示四肢的线段，即计算得到人体姿态参数；55、迭代步骤S3、S4，直至满足要求时退出；56、根据所得的表示躯干的四条边线和分别表示头部和四肢的线段输出人体模型。
2.根据权利要求1所述的人体跟踪方法，其特征在于，所述步骤Sl中的用于表示躯干 的矩形分为共用一条边的上下两部分矩形，分别为第一矩形和第二矩形，在所述步骤S3中 求最近点对时分别计算每个点到第一矩形和第二矩形的距离，并在所述步骤S4中根据所 述第一矩形和第二矩形的最近点对计算出所述第一矩形、第二矩形所在的平面，两矩形所 在平面的交线即为两矩形共用的边所在直线；让所述第一矩形和第二矩形的最近点对向所述两矩形共用的边所在直线投影，根据所 述第一矩形和第二矩形的宽度，搜索线段使得落得线段范围内的投影的数量最多，所述线 段的两个端点即为所述第一矩形和第二矩形共用的边的两个顶点；根据所述第一矩形和第二矩形的高度计算所述第一矩形和所述第二矩形的其它顶点， 从而得到所述第一矩形和第二矩形。
3.根据权利要求2所述的人体跟踪方法，其特征在于，所述第一矩形和第二矩形的高 度固定，所述计算所述第一矩形和第二矩形的其它顶点的方法为在所述第一矩形所在的平面内，分别求过所述第一矩形和所述第二矩形共用的边的两 个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，分别为第一射 线和第二射线，分别在所述第一射线和第二射线上求与所述第一射线、第二射线端点距离 为所述第一矩形的高度的点，称为第一端点，第二端点，所述第一矩形和所述第二矩形共用 的边的两个端点以及所述第一端点、所述第二端点构成所述第一矩形的四个顶点；在所述第二矩形所在的平面内，分别求过所述第一矩形和第二矩形共用的边的两个端 点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，分别为第三射线和 第四射线，分别在所述第三射线和第四射线上求与所述第三射线、第四射线端点距离为所 述第二矩形的高度的点，称为第三端点，第四端点，所述第一矩形和所述第二矩形共用的边 的两个端点以及所述第三端点、所述第四端点构成所述第二矩形的四个顶点。
4.根据权利要求2所述的人体跟踪方法，其特征在于，所述第一矩形和第二矩形高度 不固定但高度之和固定，所述计算所述第一矩形和第二矩形其它顶点的方法为在所述第一矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点，垂直 于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，称为第一射线；在所述第二矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点，垂直 于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，称为第二射线；以所述第一矩形和第二矩形共用的边的中点为起始点，分别在所述第一射线和所述第 二射线上搜索第一端点和第二端点，使得所述第一矩形的最近点对中投影落在所述起始点 和所述第一端点之间的点的数量与所述第二矩形的最近点对中投影落在所述起始点和所 述第二端点之间的点的数量之和最大，并且所述起始点到所述第一端点的线段长度与所述 起始点到所述第二端点的线段长度之和等于所述第一矩形和第二矩形的高度之和；求在所述第一矩形所在的平面内，过所述第一端点平行于所述第一矩形和第二矩形共 用的边所在直线的直线，称为第一边界直线，在所述第一边界直线上，求与所述第一端点距 离为所述第一矩形宽度的一半的两个点，称为第三端点、第四端点，所述第一矩形和第二矩 形共用的边的两个端点以及所述第三端点、所述第四端点构成所述第一矩形的四个顶点；求在所述第二矩形所在的平面内，过所述第二端点平行于所述第一矩形和第二矩形共 用的边所在直线的直线，称为第二边界直线，在所述第二边界直线上，求与所述第二端点距 离为所述第二矩形宽度的一半的两个点，称为第五端点、第六端点，所述第一矩形和第二矩 形共用的边的两个端点以及所述第五端点、所述第六端点构成所述第二矩形的四个顶点。
5.根据权利要求1所述的人体跟踪方法，其特征在于，所述步骤S4中采用拟合算法计 算得到表示四肢的线段的方法为所述上臂为所述下臂的父部位，所述下臂为所述上臂的 子部位，所述大腿为所述小腿的父部位，所述小腿为所述大腿的子部位，当父部位最近点与 子部位的最近点的比值大于某一数值时，则先采用拟合算法计算父部位的姿态参数，再拟 合计算子部位的姿态参数，进而得到父部位和子部位；当父部位的最近点与子部位的最近 点数量比值小于该数值时，则先拟合子部位所在的直线，再在该直线上查找一个到对应的 躯干边线端点的距离与父部位长度相等点作为父部位与子部位间的关节点，然后根据该关 节点和父部位与躯干之间的关节点得到父部位，再根据该关节点和子部位的长度得到子部 位。
6.根据权利要求1所述的人体跟踪方法，其特征在于，在步骤S3前，还包括根据模型重 心和点云重心的偏差，调整人体模型。
7.根据权利要求1所述的人体跟踪方法，其特征在于，在步骤S4后，还包括根据人体模 型的中头部信息与通过所采集的点云计算得到的头部的最近点对信息，调整模型。
8.一种人体跟踪系统，其特征在于，包括点云采集设备、模型初始化单元、跟踪初值预 测单元和人体跟踪单元，其中，所述点云采集设备包括点云采集模块，所述点云采集模块，用于读取当前帧采集到的点云数据；所述模型初始化单元，与所述人体跟踪单元连接，用于根据人体尺寸参数，采用线段表 示四肢的上臂、下臂、大腿、小腿和头部，矩形表示躯干构造人体模型；所述跟踪初值预测单元，与所述模型初始化单元和所述人体跟踪单元连接，用于为所 述人体跟踪单元提供初始人体模型状态信息；所述人体跟踪单元，与所述点云采集设备以及所述跟踪初值预测单元连接，用于读取 跟踪初值预测单元中的人体模型信息和所述点云采集模块采集的到点云数据，并以从所述 跟踪初值预测单元中读取的人体模型信息为初始值，对点云中每个点求取与该点距离最近 的人体部位，即最近点对，并根据最近点对计算得到表示躯干的矩形的四条边线和表示头 部的线段，同时根据最近点对采用拟合算法计算得到表示四肢的线段，即计算得到人体姿 态参数，然后将所述人体姿态参数传送给所述跟踪初值预测单元和/或输出。
9.根据权利要求8所述的人体跟踪系统，其特征在于，所述人体跟踪单元进一步包括 最近点对求取单元，与所述最近点对求取单元连接的第一数据处理单元和第二数据处理单 元，以及与所述最近点对求取单元、所述第一数据处理单元和所述第二数据处理单元连接 的控制单元，其中所述最近点对求取单元，用于求取所述点云数据中的每个点到人体每个部位的距离， 比较选择距离每个点最近的部位，并记录该点以及该部位，从而得到每个点与该点最近的 部位的配对，该处称为最近点对；所述第一数据处理单元，用于根据最近点对计算得到表示躯干的矩形的四条边线和表 示头部的线段，即人体模型的躯干和头部的姿态参数；所述第二数据处理单元，用于根据最近点对采用非线性拟合算法计算得到表示四肢的 线段，即人体模型的四肢的姿态参数；所述控制单元，用于控制所述最近点对求取单元、所述第一数据处理单元、所述第二数 据处理单元迭代运行，直至满足要求时，将所述人体姿态参数传送给所述跟踪初值预测单 元和/或输出。
10.根据权利要求9所述的人体跟踪系统，其特征在于，表示躯干的矩形分为共用一条 边的上下两部分矩形，分别为第一矩形和第二矩形，在所述最近点对求取单元中求最近点 对时分别计算每个点到第一矩形和第二矩形的距离，并在第一数据处理单元中根据所述第 一矩形和第二矩形的最近点对计算出所述第一矩形、第二矩形所在的平面，两矩形所在平 面的交线即为两矩形共用的边所在直线；让所述第一矩形和第二矩形的最近点对向所述两矩形共用的边所在直线投影，根据所 述第一矩形和第二矩形的宽度，搜索线段使得落得线段范围内的投影的数量最多，所述线 段的两个端点即为所述第一矩形和第二矩形共用的边的两个顶点；根据所述第一矩形和第二矩形的高度计算所述第一矩形和所述第二矩形的其它顶点， 从而得到所述第一矩形和第二矩形。
11.根据权利要求10所述的人体跟踪系统，其特征在于，所述第一矩形和所第二矩形 的高度固定，在所述第一数据处理单元中计算所述分别计算所述第一矩形和所述第二矩形 的其他顶点在所述第一矩形所在的平面内，分别求过所述第一矩形和所述第二矩形共用的边的两 个端点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，分别为第一射 线和第二射线，分别在所述第一射线和第二射线上求与所述第一射线、第二射线端点距离 为所述第一矩形的高度的点，称为第一端点，第二端点，所述第一矩形和第二矩形共用的边 的两个端点以及所述第一端点、所述第二端点构成所述第一矩形的四个顶点；在所述第二矩形所在的平面内，分别求过所述第一矩形和第二矩形共用的边的两个端 点，垂直于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，分别为第三射线和 第四射线，分别在所述第三射线和第四射线上求与所述第三射线、第四射线端点距离为所 述第二矩形的高度的点，称为第三端点，第四端点，所述第一矩形和所述第二矩形共用的边 的两个端点以及所述第三端点、所述第四端点构成所述第二矩形的四个顶点。
12.根据权利要求10所述的人体跟踪系统，其特征在于，所述第一矩形和所述第二矩 形高度不固定但高度之和固定，在所述第一数据处理单元中计算所述分别计算所述第一矩形和所述第二矩形的其他顶点在所述第一矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点，垂直 于所述第一矩形和所述第二矩形共用的边，且方向向上的射线，称为第一射线；在所述第二矩形所在的平面内，求过所述第一矩形和第二矩形共用的边的中点，垂直 于所述第一矩形和所述第二矩形共用的边，且方向向下的射线，称为第二射线；以所述第一矩形和第二矩形共用的边的中点为起始点，分别在所述第一射线和所述第 二射线上搜索第一端点和第二端点，使得所述第一矩形的最近点对中投影落在所述起始点 和所述第一端点之间的点的数量与所述第二矩形的最近点对中投影落在所述起始点和所 述第二端点之间的点的数量之和最大，并且所述起始点到所述第一端点的线段长度与所述 起始点到所述第二端点的线段长度之和等于所述第一矩形和第二矩形的高度之和；求在所述第一矩形所在的平面内，过所述第一端点平行于所述第一矩形和第二矩形共 用的边所在直线的直线，称为第一边界直线，在所述第一边界直线上，求与所述第一端点距 离为所述第一矩形宽度的一半的两个点，称为第三端点、第四端点，所述第一矩形和第二矩 形共用的边的两个端点以及所述第三端点、所述第四端点构成所述第一矩形的四个顶点；求在所述第二矩形所在的平面内，过所述第二端点平行于所述第一矩形和第二矩形共 用的边所在直线的直线，称为第二边界直线，在所述第二边界直线上，求与所述第二端点距 离为所述第二矩形宽度的一半的两个点，称为第五端点、第六端点，所述第一矩形和第二矩 形共用的边的两个端点以及所述第五端点、所述第六端点构成所述第二矩形的四个顶点。
13.根据权利要求10所述的人体跟踪系统，其特征在于，在所述第二处理单元中采用 拟合算法计算得到表示四肢的线段所述上臂为所述下臂的父部位，所述下臂为所述上臂 的子部位，所述大腿为所述小腿的父部位，所述小腿为所述大腿的子部位，当父部位最近点 与子部位的最近点的比值大于某一数值时，则先采用拟合算法计算父部位的姿态参数，再 拟合计算子部位的姿态参数，进而得到父部位和子部位；当父部位的最近点与子部位的最 近点数量比值小于该数值时，则先拟合子部位所在的直线，再在该直线上查找一个到对应 的躯干边线端点的距离与父部位长度相等点作为父部位与子部位间的关节点，然后根据该 关节点和父部位与躯干之间的关节点得到父部位，再根据该关节点和子部位的长度得到子 部位。
14.根据权利要求9所述的人体跟踪系统，其特征在于，还包括重心调整单元，用于在 所述控制单元控制下根据模型重心和点云重心的偏差，调整人体模型。
15.根据权利要求9所述的人体跟踪系统，其特征在于，还包括头部对齐单元，用于在 所述控制单元控制下根据人体模型的中头部信息与通过所采集的点云计算得到的头部的 最近点对信息，调整人体模型。
全文摘要
本发明公开了一种人体跟踪方法和系统，用于解决采用点云建模中，当头部、四肢等部位被遮挡不存在点或点云分辨率较低时，如何构建模型中该部位位置姿态的问题。本发明中的方法采用拟合算法代替以前的配准算法计算人体部位的姿态。首先根据点云数据和人体模型姿态数据计算得出人体点云中每个点以及与该点最近的部位的配对，该处称为最近点对，然后根据最近点对计算得到表示躯干的矩形的四条边线和表示头部的线段，同时根据最近点对采用拟合算法计算得到表示四肢的线段，最后根据所得的四条边线、和分别表示头部和四肢的线段输出人体模型。从而保证，在极端情况下，利用本发明提供的方法仍然能够很好地构建人体模型，分析跟踪人体运动。
文档编号G06T7/20GK102074019SQ20101060987
公开日2011年5月25日 申请日期2010年12月28日 优先权日2010年12月28日
发明者师丹玮, 柳林祥, 程俊, 贺欢, 赵文闯 申请人:深圳泰山在线科技有限公司