一种呼叫中心服务人员的情绪监测方法
【技术领域】
[0001]本发明涉及电子电路设计、无线通信、语音信号处理、机器学习等多种领域，具体涉及一种呼叫中心服务人员的情绪监测方法。
【背景技术】
[0002]情绪状态非常复杂，由多种明显与不明显的特征体现。主流的情绪识别方法主要有三种:表情、语音和脉搏。在现有的研究中，多数是采用其中一种特征来识别情绪，但是不同的情绪带来的行为与生理反应的多样性使其不可能由一种特征准确反映，因此多特征融合的方式是情绪识别的必然选择。
[0003]语音情绪识别在情绪识别领域应用最为广泛，常用的方法为提取语音的梅尔频率倒谱系数(MFCC)、线性预测倒谱系数(LPCC)、基频、短时能量等特征，由于语音特征数量很多，各种特征对不同的情绪有不同的影响，人工选取特征工作量巨大，而且不一定能选取最合适的特征。如果采用深度学习的方法，深度神经网络会从众多特征中学习最有用的特征，从而避免人工选取特征的局限性。
[0004]目前应用最广泛的心率检测方法有三种:压力法、心电位法和光电容积法。前两种方式都需要穿戴复杂的检测装置，使被检测者感到不适，而光电容积法正是解决这个问题的有效方法。根据郎伯-比尔(lamber-beer)定律，物质在一定波长处的吸光度和他的浓度成正比，当恒定波长的光照射到人体组织上时，通过人体组织吸收、反射衰减后测量到的光强在一定程度上反映了被照射部位组织的结构特征。因此选择光电容积法作为脉搏检测是一种非常有效的方法。
[0005]在无线传输方面，蓝牙4.0显然是最佳之选。蓝牙4.0集传统蓝牙技术、高速技术和低耗能技术于一体，完全向下兼容，包含经典蓝牙技术规范和最高速度24Mbps的蓝牙高速技术规范，更重要的是，超低的能耗使蓝牙芯片用标准纽扣电池可运行一年乃至数年。
【发明内容】
[0006]为解决现有技术中的缺点和不足，使呼叫中心服务人员提供更加优质的服务，本发明提出一种呼叫中心服务人员的情绪监测方法，将语音信号和脉搏相结合，两种特征互相补充，互相修正;使用光电容积法采集脉搏信号，传感器直接安装在耳麦上，同时将脉搏信号通过蓝牙芯片发送到计算机，不仅考虑穿戴舒适度，还考虑到传输速度和能耗;分析过程采用深度学习的方法，避免了人工选取特征的复杂工作和局限性。
[0007]本发明的技术方案是这样实现的:
[0008]—种呼叫中心服务人员的情绪监测方法，包括语音信号分析和脉搏信号分析两个过程；
[0009]在语音信号分析过程中，使用深度学习的方式；
[0010]脉搏信号分析过程使用光电容积法采集脉搏信号，计算为心率用作分析；
[0011]最后，将语音信号分析与心率分析进行融合，得到最后的情绪结果。
[0012]可选地，在语音信号分析过程中，使用深度学习的方式，具体步骤为:
[0013](11)建立深度学习网络，使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练，调整参数；
[0014](12)采集语音信号，将语音信号分段，提取语音信号的基频、短时能量、MFCC、LPCC特征，输入训练好的深度神经网络中进行识别，得到识别结果。
[0015]可选地，脉搏信号分析过程使用光电容积法采集脉搏信号，计算为心率用作分析，具体步骤为:
[0016](21)设计光电脉搏传感器电路，包括光电检测电路和放大电路，安装到耳麦中；
[0017](22)采集脉搏信号，将模拟信号转换为数字信号，并计算出心率；
[0018](23)将心率发送到计算机，用作心率情绪分析。
[0019]可选地，使用反射式测量法对脉搏进行测量。
[0020]可选地，将语音信号分析与心率分析进行融合，融合的方式为:在某心率范围下，出现特定的几种情绪，当判断的语音情绪不属于该心率范围内所属的情绪类别，则排除这个样本。
[0021]本发明的有益效果是:
[0022](I)深度学习具有自动学习良好的特征，避免了人工选取特征的局限性，减少了复杂的人工操作，适应能力更强；
[0023](2)使用语音与心率两种特征进行分析，避免了单一特征分析产生的偏差，而且两种特征形成互补优势:语音信号包含更多的信息，但人为的克制可能会使语音信号不能完全反应其情绪，心率不能人为控制，但是信息量有限；
[0024](3)光电容积法检测脉搏，电路设计简单，传感器体积小，可以很容易的安装到耳麦上，被监测的服务人员不需要复杂的操作，只需要像以前一样正常工作即可，不会给服务人员带来额外的紧张情绪；
[0025](4)蓝牙4.0集传统蓝牙技术、高速技术和低耗能技术于一体，低耗能使蓝牙芯片可以用标准纽扣电池运行一年乃至数年，无需考虑频繁的更换电池。
【附图说明】
[0026]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本发明呼叫中心服务人员的情绪监测方法的流程图；
[0028]图2为本发明光电脉搏传感器一个实施例的电路原理图；
[0029]图3为本发明采集脉搏信号的流程图；
[0030]图4为本发明光电容积法反射式测量原理图。
【具体实施方式】
[0031]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]如图1所示，本发明提出了一种呼叫中心服务人员的情绪监测方法，情绪识别分为语音信号分析和脉搏信号分析两个过程。
[0033]在语音信号分析过程中，使用深度学习的方式，具体步骤为:
[0034](11)建立深度学习网络，使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练，调整参数；
[0035](12)采集语音信号，将语音信号分段，提取语音信号的基频、短时能量、MFCC、LPCC特征，输入训练好的深度神经网络中进行识别，得到识别结果。
[0036]脉搏信号分析过程使用光电容积法采集脉搏信号，计算为心率用作分析，具体步骤为:
[0037](21)设计制作光电脉搏传感器电路，电路主要部分包括光电检测电路和放大电路，安装到耳麦中。图2示出了光电脉搏传感器电路的一个具体实施例，但本发明的保护范围并不限于该实施例。本发明使用反射式测量法对脉搏进行测量，其原理如图4所示。
[0038](22)采集脉搏信号，采集过程如图3所示，蓝牙芯片(选用nRF51822)将模拟信号转换为数字信号，并计算出心率。
[0039](23)蓝牙芯片将心率发送到计算机，用作心率情绪分析。
[0040]最后，将语音信号分析与心率分析进行融合，得到最后的情绪结果。融合的方式为:在某心率范围下，只能出现特定的几种情绪，当判断的语音情绪不属于该心率范围内所属的情绪类别，则排除这个样本。
[0041]本发明呼叫中心服务人员的情绪监测方法，使用了语音与脉搏两种特征进行情绪监测，两种特征互相补充，互相修正，使分析结果更加可靠;光电容积法检测脉搏信号，避免了被检测者复杂的操作和穿戴的不适感，而且传感器很容易安装到耳麦上;深度学习的使用减少了人工选取特征的复杂操作和应用范围的局限性;无线传输使用蓝牙4.0技术，极低的功耗避免了频繁更换电池的操作，使系统更容易维护。
[0042]本发明可以对呼叫中心服务人员的情绪状态进行实时监测，当发现服务人员情绪异常时，及时让其停止工作，并且使其休息以调整心态，或者对其错误行为进行指正。这样不仅能够使呼叫中心提供最优质的服务，避免用户不满意投诉，还能够对工作人员进行保护，避免其长时间工作引起的压抑情绪的扩散。
[0043]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种呼叫中心服务人员的情绪监测方法，其特点在于，包括语音信号分析和脉搏信号分析两个过程； 在语音信号分析过程中，使用深度学习的方式； 脉搏信号分析过程使用光电容积法采集脉搏信号，计算为心率用作分析； 最后，将语音信号分析与心率分析进行融合，得到最后的情绪结果。2.如权利要求1所述的呼叫中心服务人员的情绪监测方法，其特点在于，在语音信号分析过程中，使用深度学习的方式，具体步骤为: (11)建立深度学习网络，使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练，调整参数； (12)采集语音信号，将语音信号分段，提取语音信号的基频、短时能量、MFCC、LPCC特征，输入训练好的深度神经网络中进行识别，得到识别结果。3.如权利要求1所述的呼叫中心服务人员的情绪监测方法，其特点在于，脉搏信号分析过程使用光电容积法采集脉搏信号，计算为心率用作分析，具体步骤为: (21)设计光电脉搏传感器电路，包括光电检测电路和放大电路，安装到耳麦中； (22)采集脉搏信号，将模拟信号转换为数字信号，并计算出心率； (23)将心率发送到计算机，用作心率情绪分析。4.如权利要求3所述的呼叫中心服务人员的情绪监测方法，其特点在于，使用反射式测量法对脉搏进行测量。5.如权利要求1所述的呼叫中心服务人员的情绪监测方法，其特点在于，将语音信号分析与心率分析进行融合，融合的方式为:在某心率范围下，出现特定的几种情绪，当判断的语音情绪不属于该心率范围内所属的情绪类别，则排除这个样本。
【专利摘要】本发明提出了一种呼叫中心服务人员的情绪监测方法，结合呼叫中心服务人员工作场景的特点，通过采集和分析服务人员的语音和脉搏信号，监测服务人员的情绪状态，使用光电容积法采集脉搏信号，传感器可以直接安装在耳麦上，丝毫不影响穿戴者的正常工作，而且通过语音和脉搏双重特征分析情绪，可以使识别结果更加准确可靠。
【IPC分类】A61B5/0245, A61B5/16, A61B5/02, A61B5/00
【公开号】CN105496371
【申请号】CN201511003083
【发明人】张卫山, 赵德海, 宫文娟, 卢清华, 李忠伟
【申请人】中国石油大学(华东)
【公开日】2016年4月20日
【申请日】2015年12月21日