专利名称:自适应全双工全频段回声消除的方法
技术领域:
本发明涉及一种通信及网络系统的回声消除的方法,特别涉及一种自适应 全双工全频段回声消除的方法。
背景技术:
随着音视频会议系统和免提电话的普及,特别是高保真音频通讯系统的发 展,以及会议系统虚拟临场感的需求,远端语音信号通过扬声器播放出来使所 有与会者都能听见。本地的麦克风除了拾取本地发言人的语音的同时,也同样 拾取从扬声器播放出来的声音,经放大后送给远端。因此,远端与会者会听到 自己的声音从对方传回来。这种现象被称为回声。回声会扰乱会场的音响效果, 影响发言者的思路,严重时甚至引起反馈啸叫而毁坏会议效果。因此,回声消 除技术在会议电话和音视频会议系统中占有重要的地位。
传统的回声消除主要以增益抑制为主。其基本原理是,根据远端和本地两 边信号能量的强弱,以信号能量强的一方为语音信号,提升其增益使其通过, 而降低另一方的增益而抑制其信号,从而达到消除回声的效果。此技术控制双 向增益,在某一瞬间只使某一单方向信号通过来达到回声消除的目的,因此被
称为单工回声消除器。其优点是简单廉价,不足之处在于由于单向导通的原因, 但在双边同时谈话时, 一方的声音被切断(Cut Off)无法传到对方,影响通话效 果;特别在环境噪声较高的场合,其机制无法区分语音和噪音信号,无法达到 理想的效果。现代会议系统对回声消除技术的要求越来越高,传统的增益抑制 以及回波抑制式技术无法满足高端设备及用户的要求。
随着数字信号处理器功能的日益强大和数字信号处理技术的改进,自适应 滤波器模式的回声消除技术和应用逐渐得到推广。但自适应滤波器模式需要大量数值计算,通常只能实现窄带频率响应的回声消除,如电话通讯和手机的回
声消除;如诺基亚的专利号为97195672. 3的专利,主要针对电话和手机为对象。 而对于通讯新潮流的宽带频响(Wide Band: 50Hz - 7000Hz),超宽带频响 (Super Wide Band: 50Hz - 14000Hz),以及全频段频响(Whole Band: 20Hz-20000Hz)的需求很难或无法满足;如ClearOne的XAP400只有200Hz - 7000Hz 的频率响应,宝利通的VORTEX只有200Hz - 10000Hz的频率相应。进一步,由 于回声消除处理中背景噪声影响,双边同时谈话检测的难度和自适应滤波器自 适应调整的准确性不够,回声消除的效果受到影响,达不到足够的回声消除或 全双工的效果。
发明内容
本发明要解决的技术问题是提供一种自适应全双工全频段回声消除的方 法,可以全双工全频段消除回声。
为解决上述技术问题本发明的自适应全双工全频段回声消除的方法,包括
以下步骤
将参考信号的本地扬声器输出信号经子带滤波器组进行滤波而得到子带参
考信号;
将麦克风输入信号经子带滤波器组进行滤波而得到子带麦克风输入信号;
将子带参考信号经由子带回声滤波器滤波而得到估算回声;
将子带麦克风输入信号和估算回声经子带回声抵消器而进行子带回声抵
消,得到残余信号;
对子带参考信号、子带麦克风输入信号、估算回声、以及残余信号进行加
权能量和频谱分析,决定非线性处理的方式;
根据对子带信号分析结果对残余信号进行非线性处理以进一步降低回音;将子带的信号、以及其信号分析结果经双边同时谈话检测器对双边的谈话 活动状态进行分析检测,以决定如何对子带回声滤波器进行修正;
根据双边同时谈话检测器和信号分析的结果对子带回声滤波器进行修正; 将来自所有子带的回声已消的信号经子带信号合成滤波器组还原为回声消 除后的全频段音频信号;
所述方法中还包括保持参考信号和回声信号同步的步骤。 在所述非线性处理后,可加入降噪、自动增益控制、舒适噪声技术。 采用上述自适应全双工全频段回声消除的方法,将信号滤波分割为子带, 降低了子带信号之间的相关,从而改善了自适应滤波器的收敛问题,降低了系 统的数据处理量,提高了回声消除处理的效率,实现会话的全双工,提高通讯 音频频率响应,改善通讯质量,实现了全频段响应的回声消除。
图1为回声消除器的结构示意图; 图2为回声消除的方法的功能流程示意图; 图3为子带回声滤波器的工作示意图。
具体实施例方式
下面结合附图对本发明做进一步的详细地说明。回声问题是一个复杂的问 题。回声声波除了从扬声器直接传到麦克风之外,从扬声器发出的声波还会经 桌面,地面,天花板,墙壁等反射而到达麦克风,而且还有多次反射的声波存 在,麦克风接收到的回声是所有直接声波和反射声波的总和。这造成了回声的 复杂性,而且持有较长时间的延时,这个持续时间在回声消除技术中被称为拖 尾时间(Tail Length)。由于各种材料的声波反射率不同,回声持续时间因会 议室而异,128ms(毫秒)的拖尾时间可满足大部分会议室的需求。此外,声波的传递和反射因频率而异,因此,回声也是一个频率的函数。进一步地,麦克风 接收到的回声是所有直接声波和反射声波的总和,各声波相互叠加或抵消,使 得回声问题变得非常复杂。
本发明涉及的自适应全双工全频段回声消除器的方法及具体实现技术。本
发明是以数字信号处理(DSP - Digital Signal Processing)为基础,综合数 字信号分析,信号检测,数字滤波,自适应滤波,非线性处理,双边同时谈话 检测,及子带技术等来实现全双工全频段回声消除。降噪处理(Noise Reduction),自动增益控制(AGC - Automatic Gain Control)和舒适噪声 (Comfort Noise)等可嵌入及配合本发明以进一步改善系统音响效果。但降躁处 理,自动增益控制和舒适噪声不在本发明之内。
如图1所示,回声消除器的信号由从远端接受到的输入信号S—fin ,送往 远端去的输出信号S_fout,送到本地扬声器的输出信号S—speaker,以及从麦 克风接受到的麦克风输入信号5_111^组成。远端输入信号被送给本地扬声器播 发的同时,回声消除器采样此信号作为回声消除的参考信号,此信号为回声估 算的依据,因此被称为参考信号),以及从麦克风接受到的麦克风输入信号 S—mic经回声消除器处理后作为输出信号S—fout送往远端。
如图2所示,本回声消除器主要由子带滤波器组(Sub-Band Filter Bank) 的子带滤波,子带回声滤波器的回声估算(Sub-Band Echo Estimation),子带 回声抵消(Echo Subtraction),双边同时谈话检测(Double Talk Detection), 系统信号加权能量分析及控制(Weighted Energy Analysis and Control),子 带殘余信号的非线性处理(NLP - Nonlinear Porcessing),子带回声滤波器的 修正(Coefficient Update),子带信号合成滤波器组(Synthesize Filter Bank) 的信号合成等几个功能部分组成。本回声消除器的主要处理步骤为
将参考信号的本地扬声器输出信号经子带滤波器组进行滤波而得到子带参
考信号。
将麦克风输入信号经子带滤波器组进行滤波而得到子带麦克风输入信号。 子带参考信号经由子带回声滤波器滤波而得到估算回声。
子带麦克风输入信号和估算回声经子带回声抵消器而进行子带回声抵消,
此信号被称为残余信号。
对子带参考信号,子带麦克风输入信号,估算回声,以及残余信号等进行
加权能量和频谱分析,决定非线性处理的方式。
根据子带信号分析结果对残余信号进行非线性处理以进一步降低回音。 上述的各子带的信号,以及其信号分析结果经双边同时谈话检测器对双边
的谈话活动状态进行分析检测,以决定如何对子带回声滤波器进行修正。
根据双边同时谈话检测器和信号分析的结果对子带回声滤波器进行修正。 将来自所有子带的回声已消的信号经子带信号合成滤波器组还原为回声消
除后的全频段音频信号,此信号将被作为输出信号S—fout送往远端。
由于回声拖尾时间的缘故,参考信号保持最新128ms的数据。根据应用对
象的不同,可适当调整回声拖尾时间(Tail Length)。此外,在某些场合,参考
信号经过一定延时才送到扬声器,针对这种情况,可加入延时存储器以保持参
考信号和回声信号的同步。
同样地,麦克风输入信号经由同样的子带滤波器组滤波而得到麦克风输入
信号的子带成分。子带信号将用于之后的分析和处理。
数字信号的采样率和子带滤波器组的组数可根据实际处理信号的需求及规
格而定。例如,在20Hz - 20000Hz的全频端规格中,根据Nyquist-ShannonSampling Theorem,可采用48KHz的采样率。根据采样率的不同和实际应用的 要求,子带滤波器组的组数可从几到几千之间选择。
子带滤波器为有限激励响应滤波器(FIR - Finite Impulse Response filter)。海明(Hamming)滤波器和凯萨(Kaiser)滤波器具有较深的阻带衰减和 较陡的过渡带衰减,是设计滤波器时的较好选择。
图3表述了本发明在各子带上自适应滤波器的工作情况。在各子带上自适 应滤波器主要由以下三个部分组成l.参考信号通过回声有限激励响应滤波器 而得到估算的回声信号。2.从麦克风输入信号的子带成分中减去估算的回声信 号来抵消回声而得到残余信号。3.用参考信号和残余信号对回声滤波器的参数 进行修正更新。
麦克风输入信号S—mic经子带滤波器的滤波得到麦克风输入信号S—mic的 子带成份M—1……M一N,经子带自适应滤波器,得到M'—1……M'—N信号,然后经 过非线性的处理得到M"一l……M"—N,最终经过子带合成滤波器的合成还原为回 声消除后的全频段音频信号麦克风输入信号S'—mic。同样,本地扬声器的输出 信号S—speaker经子带滤波器的滤波得到扬声器的输出信号S_speaker的子带 成份S一1……S_N,传送到子带自适应滤波器。数字信号处理器也对子带滤波器、 非线性处理发送控制信号control—2、 control—1进行控制。
在理想条件下,估算回声信号应与实际麦克风输入的回声信号一致。这样, 在回声抵消处理之后,残余回声应当为零。而实际情况并非如此,由于环境噪 声的影响,即使估算回声信号与实际麦克风输入的回声信号一致,回声抵消处 理之后的残余回声并不为零,至少环境噪声仍然存在,用此残余回声修正得到 的回声滤波器将偏离实际的回声激励响应,加之本地发言对回声滤波器参数修 正的影响,残余回声总是存在,因此需要非线性处理来进一步降低回声。本发明根据准确的信号分析检测结果对非线性处理器进行控制,非线性处
理器采用通过(Pass),抑制(S叩pression)和阻断(Center Cut)相结合的方式对 残余回声进行处理。其具体方法为当只有本地发言时,非线性处理器让残余回 声通过;当只有远端发言时,非线性处理器将残余回声阻断;当双边同时谈话时, 非线性处理器抑制残余回声。由于此非线性处理器在各子带上分别对信号处理, 因此可有效地抑制回声的同时,又可让本地发言通过,解决了残余回声和声音 切断进退两难的问题,大幅度地改善了回声消除器的效果。
经以上非线性处理器处理后的子带信号被送入子带合成滤波器,子带信号 被合成还原为全频段声音信号。此还原后的信号被送往远端。子带合成滤波器 的特性和激励响应由子带(分离)滤波器的特性和激励响应决定。原则上信号经 过此两组滤波器后,应还原为原始的信号。但在实际应用中,由于完美还原滤 波器设计的限制,回声消除处理和非线性处理的影响,还原得到的信号与原始 信号之间常有误差,因此,在设计滤波器组时,需要将其对信号的影响控制在 一定程度以下。例如,其误差应小于-30分贝。
系统信号能量分析是对参考信号,麦克风输入信号和残余回声信号进行频 谱分析和加权能量分析测量,对背景噪声,语音平均能量和峰值能量进行估算, 根据信号能量与各估算能量的关系对双边语音状态进行评估,此结果用于控制 非线性处理器和双边同时谈话检测器。例如,语音平均能量可用一级无限激励 响应滤波器(IIR — Infinite Impulse Response filter)来简化计算量。
双边同时谈话检测器用于检测双边语音的状态以控制回声自适应滤波器的 修正处理。根据回声消除器模型和自适应滤波器算法(LMS),在远端发言而本地 无声时修正回声消除自适应滤波器可使之收敛而改善回声消除的效果;相反, 当有本地发言时修正回声消除自适应滤波器将使之发散而恶化回声消除的效果。
因此,当有本地发言时,需冻结对回声消除自适应滤波器的修正。类似地, 当远端无语音信号时,也应当冻结对回声消除自适应滤波器的修正。除了使用 系统信号能量分析的数据以外,本系统对参考信号和麦克风信号之间的互相关 进行计算分析,由此对双边语音状态作出判断以控制回声消除自适应滤波器的 修正。概括而论,当只有回声时,参考信号和麦克风信号之间的互相关系数较 大;反之,其互相关系数较小。
自适应滤波器系数修正是自适应滤波器中最重要的部分之一。根据系数修 正公式的差异,有LMS, NLMS和PNLMS等方法。LMS的波动较大;NLMS稳定但 收敛速度较PNLMS慢;PNLMS稳定但计算量较大。本发明采用简化的PNLMS方 法,但不排除以上的方法。双边同时谈话检测的结果用于控制系数修正量。例 如,当只有回声时,使用较大的系数修正量去修正自适应滤波器系数;而当双 边同时谈话时,冻结自适应滤波器系数的修正。
此外,针对系统规格的要求,降噪,自动增益控制论,舒适噪声等可加在 非线性处理之后,简单地统合到本发明的系统中。但此功能不包括在本发明之 中。
上述实施例不以任何方式限制本发明,凡采用等同替换或等效变换的方式 所获得的技术方案,均落在本发明的保护范围内。
权利要求
1、一种自适应全双工全频段回声消除的方法,其特征在于,包括以下步骤-将本地扬声器输出信号经子带滤波器组进行滤波而得到子带参考信号;-将麦克风输入信号经子带滤波器组进行滤波而得到子带麦克风输入信号;将子带参考信号经由子带回声滤波器滤波而得到估算回声;-将子带麦克风输入信号和估算回声经子带回声抵消器而进行子带回声抵消,得到残余信号;-对子带参考信号、子带麦克风输入信号、估算回声、以及残余信号进行加权能量和频谱分析,决定非线性处理的方式;-根据上述信号分析的结果对残余信号进行非线性处理以进一步降低回音;-将各子带的信号、以及其信号分析结果经双边同时谈话检测器对双边的谈话活动状态进行分析检测,以决定如何对子带回声滤波器进行修正;-根据双边同时谈话检测器和信号分析的结果对子带回声滤波器进行修正;-将来自所有子带的回声已消的信号经子带信号合成滤波器组还原为回声消除后的全频段音频信号。
2、 根据权利要求l所述的自适应全双工全频段回声消除的方法,其特征在 于所述方法中还包括保持参考信号和回声信号同步的步骤。
3、 根据权利要求1或2所述的自适应全双工全频段回声消除的方法,其特 征在于在所述非线性处理后,可加入降噪、自动增益控制、舒适噪声技术。
全文摘要
一种自适应全双工全频段回声消除的方法,该方法包括子带滤波器的滤波、子带回声抵消器的子带回声抵消、系统信号加权能量分析及控制、对双边谈话活动状态进行分析检测、回声滤波器修正、对残余回声的非线性处理、子带的信号合成。所述方法中还包括保持参考信号和回声信号同步的步骤;在所述非线性处理后,可加入降噪、自动增益控制、舒适噪声技术。采用上述回声消除的方法,将信号滤波分割为子带,降低了子带信号之间的相关,改善了自适应滤波器收敛问题,降低了系统的数据处理量,提高了回声消除处理的效率,实现会话的全双工,提高通讯音频频率响应,改善通讯质量,实现了全频段响应的回声消除。
文档编号H04M9/08GK101562669SQ20091002585
公开日2009年10月21日 申请日期2009年3月11日 优先权日2009年3月11日
发明者屈国良 申请人:屈国良