一种假手完整抓取操作的并行多模态脑控方法
【技术领域】
[0001] 本发明涉及智能机器人领域，具体涉及一种假手完整抓取操作的并行多模态脑控 方法。
【背景技术】
[0002] 随着我国经济的不断发展，各类残疾人总量和占总人口比例都有所上升，其中因 为截肢、肌萎缩性脊髓侧索硬化症(Amyotrophic Lateral Sclerosis，ALS)等缺乏肢体行 动能力或肌肉控制能力的残疾人数量众多，其家庭在照顾护理上往往投入了大量的人力与 财力。近年来，基于脑电控制源的假手控制策略逐渐被人们所采用。它将脑电信号作为驱动 假手动作的信号源，建立两者间的直接联系，从而帮助一些例如脊髓或外周神经受损而中 枢神经系统完好的残疾人获得能够与外界进行交流的能力，不仅符合国家政策，也将减轻 社会的负担，必将产生巨大的经济效益。
[0003] 混合脑控技术是在传统脑机接口技术上提出的新研究方向，它在传统的单一范式 的脑机接口中，加入新的生理电信号，从而得到混合脑控系统。其中，新的生理电信号包括 眼电、心电、血流变换等信号模式。混合脑控方法按其混合的方式可分为并行模式和串行模 式。其中，基于并行模式的混合脑控方法可以实现两种脑电信号的协同控制策略，在增加了 系统可靠性的同时，提高了整个系统的控制精度。
[0004]由于目前国内学者还停留在用单一范式下的脑电信号作为智能假手的控制源，并 未对基于混合脑控技术下的假手控制技术进行深入的研究。因此，本发明根据场景动画视 觉诱发脑控范式与表情驱动脑控范式下脑电信号特征的不同，提出了一种假手完整抓取操 作的并行多模态脑控方法，通过加强不同类别脑电信号间的各体差异性，以解决智能假手 完整抓取操作脑控系统的正确率、信息传输率、可靠性等关键问题。
【发明内容】
[0005] 本发明的目的在于克服上述现有技术不足，在现有脑电信号控制智能假手方法的 基础上，综合利用了基于场景动画视觉诱发及表情驱动脑控范式的可靠性，以提高假手完 整抓取操作的正确率为目的，提供了一种假手完整抓取操作的并行多模态脑控方法。
[0006] 为达到以上目的，本发明是采取如下技术方案予以实现的：
[0007] -种假手完整抓取操作的并行多模态脑控方法，包括下述步骤：
[0008] (1)为受试者佩戴脑电采集模块，其中所有电极均处于国际10/20系统的标准位 置，根据场景动画视觉诱发脑电信号产生机理采集大脑皮层枕叶区〇1、〇2通道的脑电信号， 根据表情驱动脑电信号产生机理采集侧额叶皮质区F7、F8通道的脑电信号。
[0009] (2)事先在场景动画视觉诱发模块中植入由一残疾人日常喝水简易操作同时进行 四种不同表情驱动的全过程，分解得到的四个具有连续性的动作场景图像。其中，每一个图 像中残疾人面部呈现一种不同表情，每一个动作场景图像经过灰度处理后，分别得到两张 黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发。所述两张黑白分明的 反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频 率调制范围为2-30Hz。
[0010] 所述的由分解得到的四个具有连续性的动作场景图像分别定义为场景动画一、场 景动画二、场景动画三、场景动画四；所述四种不同表情驱动分别为提眉、皱眉、左撇嘴、右 撇嘴。其中，提眉出现在场景动画一中；皱眉出现在场景动画二中；左撇嘴出现在场景动画 三中；右撇嘴出现在场景动画四中。
[0011] (3)受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来表达控 制意图。脑电采集模块同时提取受试者的〇1、〇2、？7{8四通道脑电信号后进行离线分析。
[0012] (4)首先，脑电采集模块对采集到的01、02、F7、F8四通道脑电信号经放大、滤波预 处理后，经由蓝牙模块，无线传输给信号处理模块，信号处理模块采用功率谱密度方法对四 通道脑电信号进行频谱分析，提取alpha频带的能量谱密度值。计算场景动画视觉诱发同时 进行表情驱动下，由场景动画视觉诱发产生的01、〇2通道脑电信号alpha频带的能量谱密度 及由表情驱动产生的F7、F8通道脑电信号alpha频带的能量谱密度比重权值ω。
[0013] 其次，采用并行控制方法，根据场景动画稳态视觉诱发及表情驱动脑控范式下产 生的脑电信号特性，通过功率谱密度方法同时提取四通道alpha频带的时频域特征值。其 中，场景动画视觉诱发脑电信号alpha频带的时频域特征提取算法为快速傅里叶变换;表情 驱动脑电信号alpha频带的时频域特征提取算法为小波变换模均值。
[0014] (5)根据步骤(4)计算得到的权值ω确定两种不同脑控范式下产生的特征脑电信 号的训练样本数，并将其输入ΒΡ神经网络分类器中进行训练；
[0015] (6)样本训练完成后，受试者通过注视不同场景动画视觉诱发界面同时进行不同 表情驱动来表达控制意图，脑电采集模块同时提取受试者的〇1、〇2、？7、？8四通道脑电信号 后，返回步骤(4)，进行在线目标识别，根据步骤(5)的训练结果与所提取的脑电特征信号采 用ΒΡ神经网络进行在线分类；
[0016] (7)由步骤(6)得到的识别结果经通信模块无线传输给假手臂筒内的驱动控制模 块，驱动控制模块控制假手本体模块完成基本动作。
[0017]上述方法中，所述四种表情分别为提眉、皱眉、左撇嘴、右撇嘴，每次驱动时每种表 情至少重复3次。所述提眉与场景动画一控制假手张开;皱眉与场景动画二控制假手抓握； 左撇嘴与场景动画三控制假手腕关节内旋;右撇嘴与场景动画四控制假手腕关节外旋。
[0018] 本发明针对传统单一范式下脑电信号控制假手，其优越性在于：
[0019] 针对单一范式下的脑控假手方法，本发明提出来一种假手完整抓取操作的并行多 模态脑控方法，以受试者注视不同场景动画视觉诱发下产生的脑电信号及不同表情驱动时 产生的脑电信号同时作为控制信息源，通过提高不同类别脑电信号间的个体差异性，实现 假手的精密性控制，进一步提高了脑控假手系统的准确率与信息传输率。
【附图说明】
[0020] 图1为本发明脑电采集模块的布置示意图。
[0021 ]图2为基于场景动画视觉诱发的示意图。
[0022]其中（a)假手张口与提眉场景示意图；
[0023] (b)假手抓握与皱眉场景示意图；
[0024] (c)假手腕内旋与左撇嘴场景示意图；
[0025] (d)假手腕外旋与右撇嘴场景示意图。
[0026]每种场景中，左侧为动作场景；中间和右侧分别为经过灰度处理后的两张黑白分 明反转色图片；
[0027]图3为智能假手的场景动画视觉诱发的刺激界面图。
[0028]图4为本发明的控制系统原理图。
[0029]其中（a)为控制方法流程框图；
[0030] (b)为控制装置结构框图。
【具体实施方式】
[0031] -种基于假手完整抓取操作的并行多模态脑控假手装置，包括:佩戴于受试者者 头部的脑电信号采集模块，置于受试者腰部的便携化信号处理模块，假手驱动控制模块，假 手本体模块，蓝牙传输模块，通信模块以及置于受试者可视范围之内的场景动画视觉诱发 模块，该场景动画视觉诱发模块对受试者播放经分解及处理后的不同动作场景的闪烁图 像，以诱发受试者产生脑电信号。
[0032]上述方案中，脑电采集模块采用自带放大滤波的专用便携化脑电帽EM0TIV，并选 取国际标准10/20下的F7，F8,01，02通道信号。便携化信号处理模块采用嵌入式微处理器。 脑电采集模块与信号处理模块通过蓝牙传输模块无线连接，信号处理模块与假手的驱动控 制模块采用通信模块无线连接。本装置采用的场景动画视觉诱发模块为计算机显示器、电 视屏幕、手机或平板电脑之一。
[0033] 参考图1、图4(b)，图1中根据场景动画视觉诱发及表情驱动产生机理，采集受试者 头部枕叶区的〇1、〇2位置和位于侧额叶皮质区的F7、F8位置脑电信号，选用双侧耳后位置放 置参考电极。本发明涉及的假手控制装置包括置于受试者头部的脑电信号采集模块310,置 于受试者可视范围内的场景动画视觉诱发模块370。优先采用便携化16通道无线脑电采集 设备，选取国际标准10/20下位于枕叶区的01、02位置与位于侧额叶皮质区的F7、F8位置的 脑电信号。脑电信号采集模块对采集到的脑电信号进行放大、滤波之后通过蓝牙传输模块 320,将其送入便携化的信号处理模块330。信号处理模块负责将脑电信号进行特征提取和 模式识别，识别结果通过TTL串口通信技术传输给置于假手本体模块360臂筒内的驱动控制 模块350，驱动控制模块将识别结果转换为电机的控制命令完成假手目标运动。
[0034] 参考图2场景动画视觉诱发单元通过将残疾人不同表情驱动情况下的喝水过程分 解为假手张开与提眉、假手抓握与皱眉、假手腕关节内旋与左撇嘴和假手腕关节外旋与右 撇嘴四个不同目标动作场景，并预先将其植入场景动画视觉诱发模块；
[0035] 场景一 (a)残疾人假手张开初始状态同时进行提眉表情驱动，控制假手完成张开 的动作过程。场景二(b)残疾人假手抓握杯子同时进行皱眉表情驱动，控制假手完成抓取杯 子的动作过程。场景三(c)残疾人假手腕内旋同时进行左撇嘴表情驱动，控制假手完成腕内 旋的动作过程;场景四（d)残疾人假手腕外旋同时进行右撇嘴表情驱动，控制假手完成腕外 旋的动作过程，从而实现一套完整的喝水过程。
[0036] 参考图4(a)，本发明一种假手完整抓取操作的并行多模态脑控方法，当对受试者 同时进行场景动画视觉诱发及表情驱动时，脑电采集设备采集枕叶区和侧额叶皮质区脑电 信号