专利名称：通过网络感知用户动作的系统和方法
技术领域：
本申请涉及网络中的用户间交互，更具体地，涉及通过网络感知用户动作的系统 和方法。
背景技术：
在传统的网络通信中，用户之间主要通过文字、图像、语音等多媒体信息来进行交 流。然而，现有的通信平台并不能通过网络使用户感知到网络另一端用户的肢体动作。
发明内容
根据本申请的第一方面，公开了一种通过网络感知用户动作的系统，包括表面肌 电传感器，在网络一侧采集第一用户的动作产生的肌电信号；识别模块，根据所述肌电信号 识别所述第一用户的动作；以及机械活动部件，根据所识别的动作执行相应的动作，从而使 得位于网络另一侧的第二用户感知所述第一用户的动作。根据本申请的第二方面，公开了一种通过网络感知用户动作的方法，包括从位于 网络一侧的第一用户采集由所述第一用户的动作产生的肌电信号；根据所述肌电信号识别 所述第一用户的动作；根据识别出的动作生成相应的控制指令；以及响应于所述控制指令 在网络另一侧执行所述动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动 作。根据本申请的第三方面，公开了一种根据由用户动作产生的肌电信号识别所述用 户动作的系统，包括表面肌电传感器，采集响应于用户的动作产生的肌电信号；以及识别 模块，包括特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预 先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样本中的每一 个包括一个特征信号集群和相应的动作指示。根据本申请的第四方面，公开了一种根据由用户动作产生的肌电信号识别所述 用户动作的装置，包括特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单 元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样 本中的每一个包括一个特征信号集群和相应的动作指示。根据本申请的第五方面，公开了一种根据由用户动作产生的肌电信号识别所述用 户动作的方法，包括从所述肌电信号中提取特征信号；将所提取特征信号与预先存储的 多个数据样本进行比较；以及根据比较结果，识别所述肌电信号对应的用户动作，其中，所 述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。
图1示意性地示出了根据本申请的一个实施方式通过网络感知用户动作的系统。图2示意性地示出了根据本申请一个实施方式的SEMG传感器的示意框图。图3示意性地示出了根据本申请的一个实施方式的识别模块。
图4示意性地示出了采用时域方法从具有六个通道的SEMG传感环采集到的肌电 信号中提取出的平方和特征。图5示意性地示出了基于短时傅里叶变换从具有六个通道的SEMG传感环采集到 的肌电信号中提取出的平方和特征。图6示意性地示出了采用主成分分析法将提取的特征信号投影在二维平面得到 的降维的特征信号。图7示意性地示出了通过学习得到的在二维平面代表几个不同动作的特征信号
集群ο图8示意性地示出了根据本申请的一个实施方式的机械手。图9示意性地示出了图8的机械手中的手指结构。图IOa和IOb分别示出了图9的手指转动前后的示意图。图11示意性地示出了根据本申请一个实施方式通过网络感知用户动作的方法的 流程图。
具体实施例方式下面，参照附图对本申请的示例性实施方式进行详细描述。图1示出了根据本申请的一个实施方式通过网络(例如，局域网、广域网、有线网 络、无线网络、3G网络等)感知用户动作的系统100。如图所示，系统100包括分别由用户 10和20操作的、通过网络通信的终端11和21。终端11和21可以是网络中任何适当的通 信终端，例如，个人计算机、笔记本电脑、移动电话、个人数字助理等。系统100还包括与用 户10和终端11通信的SEMG(surfaceelectromyography，表面肌电)传感器12、以及与用 户20和终端21通信的机械活动部件23。SEMG传感器12由用户10佩戴在皮肤表面。用户在进行肢体动作时，其肌肉会伸 缩，并且会有微弱的电能量聚集在对应位置处的皮肤表面。因此，响应于用户10的肢体动 作，佩戴在其皮肤表面的SEMG传感器12检测到对应皮肤位置下的肌肉伸缩运动以及由此 产生的电信号(即，肌电信号)。SEMG传感器12通过有线接口或例如蓝牙等无线接口将检 测到的肌电信号传递给终端11。根据一个实施方式，终端11包括根据接收的肌电信号识别用户10的动作的识别 模块(未示出)，并通过网络将表示识别出的动作的信息传送给终端21。终端21包括指令 生成模块(未示出)，该指令生成模块根据接收的信息生成用于控制机械活动部件23的控 制指令。机械活动部件23根据来自终端21的控制指令为用户20再现与用户10的动作相 一致的动作。机械活动部件23可以通过有线或无线接口与终端21相连。根据另一实施方式，终端11将接收到的肌电信号直接传送给终端21。终端21包 括根据肌电信号识别用户10的动作的识别模块和根据识别出的动作生成控制指令的指令 生成模块。机械活动部件23根据来自终端21的控制指令为用户20再现与用户10的动作 相一致的动作。可选地，终端11包括对接收到的肌电信号进行调制的调制模块，终端21相 应地包括解调模块，用于对接收到的调制信号进行解调以恢复SEMG传感器12发送的肌电 信号。根据又一实施方式，终端11包括根据肌电信号识别用户10的动作的识别模块和根据识别出的动作生成控制指令的指令生成模块，并将生成的控制指令传送给终端21。终 端21将接收的控制指令转发给机械活动部件23。机械活动部件23根据终端21转发的控 制指令为用户20再现与用户10的动作相一致的动作。由于肌电信号通常具有微弱的电压(例如，几微伏到几毫伏)并且混杂有大量的 噪声，因此通常需要在SEMG传感器中对采集的肌电信号进行放大和滤波。图2示出了根据 本申请一个实施方式的SEMG传感器12的示意框图。如图所示，SEMG传感器12包括从用 户的皮肤表面采集肌电信号的多个电极201、将采集的肌电信号进行放大的放大器202、以 及将放大后的肌电信号中的不期望分量滤除的滤波器203。放大器202例如可以是将肌电 信号放大到几伏的差分放大器。由于有用的肌电信号分布在20Hz到500Hz之间，并且肌电 信号中可能存在50Hz的工频噪声，因此，滤波器203可以由将频率低于20Hz的噪声滤除的 高通滤波器、将频率高于500Hz的噪声滤除的低通滤波器、以及将频率为50Hz的噪声滤除 的带阻滤波器共同构成。在一个实施例中，SEMG传感器12是用来检测人手动作的手腕式SEMG传感环。由 于人手的五个手指由前臂的四块肌肉控制，因此，在手腕式SEMG传感环中，可具有至少四 个电极，每个电极的电通道用来检测一块肌肉的伸缩产生的肌电信号。作为一种选择，SEMG 传感器12可具有六个电极，以确保当用户将其佩戴在手腕上时，这六个电极能充分覆盖四 块肌肉所对应的皮肤位置，从而避免由于电极与肌肉位置错位而丢失动作信息。图3示出了根据本申请的一个实施方式的识别模块30。识别模块30位于终端11 或21中，并可包括特征提取单元301、样本存储单元302和模式识别单元303。样本存储单元302预先存储有多个数据样本，每个样本包括一个特征信号和与之 对应的动作指示。存储的数据样本可以是经过学习和训练得到的。特征提取单元301从接 收自SEMG传感器12的肌电信号提取该肌电信号的特征信号，并将提取的特征信号提供至 模式识别单元303。模式识别单元303将特征提取单元301提供的特征信号与样本存储单 元302中存储的样本进行比较，从而识别出与该特征信号对应的动作。作为一种选择，样本 存储单元也可以不包含在识别模块内。例如，数据样本可以存储在通信终端的其他存储设 备中，或者可以分布式地存储在网络中。肌电信号的特征信号可以通过对肌电信号进行时域处理、频域处理、或时-频域 处理而获得。响应于用户的动作，SEMG传感器12的每个传感通道都会采集到一个肌电信 号。特征提取单元301对每个传感通道采集到的肌电信号分别进行计算以提取出需要的特 征信号。例如，肌电信号的特征信号可以是通过时域方法得到的平方和值、基于傅里叶变换 得到的力矩值或平方和值、或者基于短时傅里叶变换得到的力矩值或平方和值。在时_频 域方法中，根据短时距傅里叶变换的结果提取特征。也就是，在时域上把信号分成很短的时 段，对每个时段进行傅里叶变换以得到每个时段的频域特性，从而提供更多的瞬态信息，以 便更精确地识别每个时段的动作。例如，图4示意性地示出了采用时域方法从具有六个通道的SEMG传感环采集到的 肌电信号(分别对应于大拇指、食指、中指、及无名指和小拇指的动作)中提取出的平方和 特征，其中，平方和特征f例如可通过下式获得
权利要求
1.一种通过网络感知用户动作的系统，包括表面肌电传感器，在网络一侧采集第一用户的动作产生的肌电信号； 识别模块，根据所述肌电信号识别所述第一用户的动作；以及 机械活动部件，根据所识别的动作执行相应的动作，从而使得位于网络另一侧的第二 用户感知所述第一用户的动作。
2.如权利要求1所述的系统，进一步包括指令生成模块，根据所识别的动作生成控制指令，所述控制指令控制所述机械活动部 件执行与所识别的动作相对应的动作。
3.如权利要求1所述的系统，其中，所述识别模块设置在由所述第一用户操作的第一 终端中，或者设置在由所述第二用户操作的第二终端中。
4.如权利要求2所述的系统，其中，所述指令生成模块设置在由所述第一用户操作的 第一终端内，或者设置在由所述第二用户操作的第二终端内。
5.如权利要求1所述的系统，其中，所述表面肌电传感器是手腕式表面肌电传感环。
6.如权利要求5所述的系统，其中，所述手腕式表面肌电传感环具有至少四个电极传 感通道。
7.如权利要求6所述的系统，其中，所述手腕式表面肌电传感环具有六个电极传感通道。
8.如权利要求1所述的系统，其中，所述识别模块包括 特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作， 所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。
9.如权利要求8所述的系统，其中，所述识别模块进一步包括降维单元，将所述模式识别单元提取的特征信号进行降维处理后传递至所述模式识别单元。
10.如权利要求8所述的系统，其中，所述识别模块进一步包括学习单元，响应于所述第一用户的指令对所述第一用户的动作进行学习，以获得所述 多个数据样本。
11.如权利要求8所述的系统，其中，所述特征信号是所述肌电信号的平方和信号或力矩信号。
12.如权利要求2所述的系统，其中，所述机械活动部件是具有手掌、五个手指和驱动 单元的机械手，所述驱动单元用于驱动五个手指的活动。
13.如权利要求12所述的系统，其中，所述五个手指中的每个手指包括第一指骨、第二 指骨、第三指骨、三个旋转关节以及拉紧线，所述三个旋转关节分别连接于所述第一指骨和 所述第二指骨之间、所述第二指骨和所述第三指骨之间、以及所述第三指骨和所述手掌之 间，所述拉紧线连接于所述驱动单元和所述三个旋转关节，并在驱动单元的驱动下通过所 述三个旋转关节牵弓I所述第一至第三指骨转动。
14.如权利要求13所述的系统，其中，所述指令生成模块生成的控制指令指示所述驱 动单元驱动所述五个手指中的一个或多个转动。
15.如权利要求12所述的系统，其中，所述驱动单元包括四个电机，其中的一个电机驱动无名指和小拇指，另外三个分别驱动大拇指、食指和中指。
16.一种通过网络感知用户动作的方法，包括从位于网络一侧的第一用户采集由所述第一用户的动作产生的肌电信号； 根据所述肌电信号识别所述第一用户的动作； 根据识别出的动作生成相应的控制指令；以及响应于所述控制指令在网络另一侧执行所述动作，从而使得位于网络另一侧的第二用 户感知所述第一用户的动作。
17.如权利要求16所述的方法，其中，所述识别的步骤进一步包括 从所述肌电信号中提取特征信号；以及根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样 本中的每一个包括一个特征信号集群和相应的动作指示。
18.如权利要求17所述的方法，其中，所述多个数据样本是通过对所述第一用户的动 作进行学习而得到的。
19.如权利要求16所述的方法，其中，在根据所述多个数据样本识别出与提取的特征 信号对应的动作之前，对提取的特征信号进行降维处理。
20.如权利要求17所述的方法，其中，所述特征信号是所述肌电信号的平方和信号或 力矩信号。
21.一种根据由用户动作产生的肌电信号识别所述用户动作的系统，包括 表面肌电传感器，采集响应于用户的动作产生的肌电信号；以及识别模块，包括特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作， 所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。
22.如权利要求21所述的系统，其中，所述特征信号是所述肌电信号的平方和信号或 力矩信号。
23.如权利要求21所述的系统，其中，所述识别模块进一步包括降维单元，将所述模式识别单元提取的特征信号进行降维处理后传递至所述模式识别单元。
24.如权利要求21所述的系统，其中，所述识别模块进一步包括学习单元，响应于所述用户的指令对所述用户的动作进行学习，以获得所述多个数据 样本。
25.如权利要求21所述的系统，其中，所述识别模块嵌入在通信终端中。
26.一种根据由用户动作产生的肌电信号识别所述用户动作的装置，包括 特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作， 所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。
27.如权利要求26所述的装置，进一步包括 样本存储单元，存储所述多个数据样本。
28.如权利要求26所述的装置，其中，所述特征信号是所述肌电信号的平方和信号或力矩信号。
29.如权利要求26所述的装置，进一步包括降维单元，将所述模式识别单元提取的特征信号进行降维处理后传递至所述模式识别单元。
30.如权利要求26所述的装置，进一步包括学习单元，响应于所述用户的指令对所述用户的动作进行学习以得到所述多个数据样本。
31.如权利要求26所述的装置，其中，所述装置嵌入在通信终端中。
32.一种根据由用户动作产生的肌电信号识别所述用户动作的方法，包括 从所述肌电信号中提取特征信号；将所提取特征信号与预先存储的多个数据样本进行比较；以及 根据比较结果，识别所述肌电信号对应的用户动作，其中，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。
33.如权利要求32所述的方法，其中，所述多个数据样本是通过对所述第一用户的动 作进行学习而得到的。
34.如权利要求32所述的方法，其中，在根据所述多个数据样本识别出与提取的特征 信号对应的动作之前，对提取的特征信号进行降维处理。
35.如权利要求32所述的方法，其中，所述特征信号是所述肌电信号的平方和信号或 力矩信号。
全文摘要
公开了一种通过网络感知用户动作的系统和方法，该系统包括表面肌电传感器，在网络一侧采集第一用户的动作产生的肌电信号；识别模块，根据所述肌电信号识别所述第一用户的动作；以及机械活动部件，根据所识别的动作执行相应的动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。还公开了一种根据由用户动作产生的肌电信号识别所述用户动作的系统、装置和方法。
文档编号B25J9/18GK101995947SQ20101014612
公开日2011年3月30日 申请日期2010年4月12日 优先权日2009年8月21日
发明者刘云辉 申请人:香港中文大学