用于处理音频信号的方法和移动装置的制造方法

用于处理音频信号的方法和移动装置的制造方法
【专利摘要】一种用于处理音频信号的方法(900)，所述方法包含：将包括空间信息的音频信号(602a，602b)分解(901)成一组音频信号成分；以及根据第一处理方案(603)处理(902)所述音频信号成分的组的第一子集(606a)且根据不同于所述第一处理方案(603)的第二处理方案(609)处理所述音频信号成分的组的第二子集(606)，其中所述第一子集(606a)包括对应于至少一个正面信号源(M)的音频信号成分并且所述第二子集(606)包括对应于至少一个环境信号源(SL，SR)的音频信号成分；其中所述第二处理方案(609)是基于串扰抵销。
【专利说明】
用于处理音频信号的方法和移动装置
技术领域
[0001] 本发明涉及一种用于处理音频信号的方法以及应用此类方法的移动装置。本发明 进一步涉及用于在移动装置中形成增强空间效应的音频系统，具体而言是应用串扰抵销的 首频系统。
【背景技术】
[0002] 在市场上存在许多具有两个转换器的装置，例如，便携式计算机、平板计算机、移 动电话和智能电话，以及iPod或智能电话扩充口和用于TV的条形音箱。与具有两个离散扬 声器的常规的立体声系统相比，此类装置的两个转换器位于单个箱体或壳体中并且通常非 常接近彼此放置（由于装置的大小，它们通常仅间隔开几厘米，对于例如智能电话或平板计 算机等移动装置介于2cm与30cm之间）。对于典型的收听距离，如图Ia中所说明的扬声器跨 度角Θ较小，即，小于60度，如根据ITU推荐BS. 775-3，"具有和不具有随附图片的多声道立体 声声音系统（Multichannel stereophonic sound system with and without accompanying picture)"，ITU_R，2012,推荐给立体声重放。
[0003] 这导致窄的、几乎"单声道类的"的声音再现。当在此类装置上播放立体声录音时， 全部声音源被视为居中的，其中声音源将是例如在收听者所述左侧或右侧上的局部的任何 空间信息缺失。甚至更坏的是使用单箱式扬声器无法实现具有通过全部围绕收听者放置的 来源形成环绕效果的目标的多声道信号。
[0004] 增大此类单箱式装置的空间效应的典型方法是使用串扰抵销技术，如由Bauer， B.B.在"立体声耳机和双耳扬声器（Stereophonic earphones and binaural loudspeakers)"，音频工程师协会期刊9,148-151，1961中所描述的。串扰抵销的通常目标 是衰减串扰。串扰是指例如如图1中所描绘的移动装置103的扬声器105、107的扬声器与对 侧耳之间的不希望的信号路径C，即，右扬声器R 107与左耳1之间的路径，以及左扬声器L 105与右耳r之间的路径，如图Ib中所示。由于消除串扰，有可能向收听者的耳朵呈现双耳信 号，这允许实际上在全部围绕收听者的区域111中置放声源109并且获得立体声扩展或虚拟 环绕效果，如图I c中所说明。
[0005] 实际上，可以使用滤波反转技术实施串扰抵销。声道分离是借助于在收听者的耳 朵的位置处的破坏性波干扰实现的。直观地说，由一个扬声器产生的意图用于同侧耳的每 个所需信号被输出第二次(延迟和相位反转），以便在对侧耳的位置处获得所需消除。因此， 需要由扬声器产生高信号振幅和声压级仅是为了稍后将在收听者耳朵处消除。此效果减小 了电-声学系统的效率;它可以引起失真以及减小的动态范围以及减小的最大输出电平。
[0006] 用于在移动装置中形成增强空间效应的串扰抵销系统的适用性受到它们通常放 置在由放大器和扬声器组成的电-声学系统上的高负载的限制。
[0007] 基于滤波反转技术或一阶方向性处理的串扰抵销的性能示出了较强的频率依赖 性。尤其对于低频率，直接路径D与串扰路径C之间的差异Δ1极小（相对于波长）。在这种情 况下，所需延迟I =￥(声速为Cs~340m/s)极小，这引起同侧和对侧信号非常类似。图2示 cs 出典型串扰抵销滤波的频率响应200的实例。显然，尤其对于低频率需要较大增益。
[0008] 实际上，对于较小ωτ。，对侧信号的所需衰减诱发同侧信号的不希望的衰减。为了 克服同侧衰减的此衰减，需要某些频率的高度放大。尤其对于具有展现较小跨度角度Θ(参 见图la)的扬声器的系统，低频率需要被显著放大并且需要由扬声器产生高声压级(仅为了 稍后在收听者的耳朵处由破坏性波干扰消除），这引起增益的相当大的损失并且显著约束 最大输出电平并且限制系统的动态范围。总体而言，对于所有串扰抵销技共用的这种特性 限制了串扰抵销效率（即，在收听者耳朵的位置处所得的所需信号处的声压与由扬声器产 生的总体声压的比率）。换句话说，在扬声器上施加了高度的串扰抵销努力。
[0009] 对于移动装置中的串扰抵销的应用此问题变得尤其严重。此类装置通常配备有极 小的扬声器和低功率放大器。此外，扬声器放置在较小的扬声器跨度角处。由于使用此类小 型转换器和低功率放大器产生高声压级(尤其对于低频率)的能力受到限制，串扰抵销系统 所需的任何进一步放大通常引起不充分地低声压级、大幅度减小的动态范围和甚至由扬声 器和放大器的过载产生的失真，以及数字信号处理设备的饱和。
[0010]存在此问题的若干方案，其需要就跨度角而言的扬声器的适应性放置或使用规则 化以限制最大放大级。
[0011] 规则化(恒定参数和频率依赖性规则化)可以用于降低由系统反转引起的动态范 围损失的损失。规则化约束由串扰抵销系统引入的额外放大。然而，继而，它也约束信号抵 消串扰的能力并且因此构成控制动态范围的可接受的损失与串扰的所需衰减之间的不可 避免的折衷的方法。无法同时实现用于形成较大空间效应的高动态范围和高串扰衰减。
[0012] 最佳源分配是通过基于频率连续地改变扬声器跨度角减小动态范围损失的损失 的技术。对于高频率，使用小扬声器跨度角，对于低频率，扬声器跨度角越来越多地增大引 起较大《1。值。显然，此技术需要横跨高达180°的若干扬声器(两个以上）。对于每个频率范 围，使用需要最少努力的扬声器，即，需要发出最小输出功率。对于移动装置，此方案不适用 因为所有扬声器放置在单个(通常是小型)壳体中，这限制了可实现的跨度角。
[0013] 使用串扰抵销技术的主要优势在于双耳信号可以呈现给收听者，这开启了将声源 实际上全部围绕收听者的头部放置、跨越整个360°方位角以及高度范围的可能性，如图3中 所说明。多个因素影响如何感知声音的空间方面;主要耳间时间和耳间水平差异提示对于 声音源的方位角局部化是相关的。
[0014] 将音频信号分离成前端源和环绕源是2到3或2到5信道向上混合领域中研究的很 透彻的问题，参见VickerS，E.; "用于中央声道导出和语音增强的频域二到三声道上混 (Frequency-Domain Two-To Three-Channel Upmix for Center Channel Derivation and Speech Enhancement)"，音频工程师协会公约 127,2009以及Irwan,R.，Aarts，R.M.， "二到五声道声音处理（Two-to-Five Channel Sound Processing)"，JASA 50(11)，2002〇 此处，给定常规的立体声录音（由2个声道组成，左声道L和右声道R)，目标是导出额外声道 以获得额外中央声道或5.1多声道环绕声音信号以用于使用5.1扬声器设置的改进的重放。
[0015] 为了提取中央声道，目标是分解立体声信号，方法是首先提取左输入L和右输入R 共用的任何信息并且将其分配到中央声道并且将残余信号能量分配到左声道和右声道(参 见图5a)。相同原理可以用于将立体声信号分离成前端源和环绕源。此处，左声道和右声道 共用的信息对应于前端源M;任何残余音频能量被分配给左侧环绕SL源或右侧环绕SR源(参 见图5b)。
[0016] 分离可以基于以下信号模型，如由VickerS，E.; "用于中央声道导出和语音增强的 步页域二到三声道上混（Frequency-Domain Two-To Three-Channel Upmix for Center Channel Derivation and Speech Enhancement)"，音频工程师协会公约 127,2009所描述 的：
[0017] L = 0.5M+SL
[0018] R = 〇.5M+SR，
[0019] 其中M对应于在L和R中相同的共用信号部分，SL和SR对应于残余侧信号部分。基本 假设是存在首要或主要源P，其可以在信号的成帧子带表示中观察到。P被假定为将在输入 信号的左声道和右声道之间的某处平移。为了分离成共用和环绕信号部分，想法是使用中 间分量M和侧面分量SL(在P的情况下进一步指向左侧)或右分量SR(在P的情况下进一步指 向右)表示P，参见图5。
[0020] 如Irwan,R. ,Aarts ,R.M，"二到五声道声音处理（Two-to-Five Channel Sound Processing)" JASA 50(11)，2002中所描述，参见图4,分离单元400可以在通过FFT变换和 子带分解401中获得的频域中在成帧子带404上执行PCA(Principal Component Analysis， 主成分分析)403以根据以下指令衍生信号M、SL和SR 406:
[0021]使用PCA(主成分分析)403计算左输入声道与右输入404之间的旋转角，所述旋转 角对应于相应的成帧子带中的主要源P的方向；
[0022]衍生对应于主要源到前端方向的投影的M;并且S表示立体声内容的剩余部分； [0023] SL和SR可以通过取决于L和R对S的贡献将S映射到更加的明显的声道而获得；
[0024] M、SL和SR 406可以通过使用IFFT 405被转换为时域408。
[0025] 可以应用许多不同方案以获得所需分离并且不同术语可以用于不同分量，例如， 共用或居中或前端部分是等效术语，另外，环绕或侧面或环境部分是等效术语。
[0026] 中间信号M包含所有前端源，侧面信号SL和SR含有环绕源。当在具有小型扬声器跨 度角的移动装置上播放时为了扩展立体声信号，使用串扰抵销的立体声扩展仅需要用于处 理环绕信号SL和SR。含有前端源的中间信号M可以使用常规幅值相移再现。
[0027] 具有形成增强空间效应(立体声扩展、虚拟环绕重放、双耳再现）的目标的移动装 置中的如上文所述的串扰抵销技术的应用遭受低声道分离（串扰的低衰减)或低动态范围 以及当实现串扰的高衰减时有限的最大输出电平。现有技术方案仅提供了控制两个矛盾方 面之间的不可避免的折衷的方法。

【发明内容】

[0028] 本发明的目标是提供一种用于具有低串扰抵销努力的改进的空间声音再现的技 术。
[0029] 此目标通过独立权利要求的特征实现。进一步的实施形式通过从属权利要求、说 明书以及图式是显而易见的。
[0030] 如下文中所描述的本发明是基于以下基础观察:将由串扰抵销系统处理的所需量 的信号能量可以通过将输入信号分离成前端和环绕声源且随后仅向环绕源应用串扰抵销 以用于形成空间效应而减少。前端源可以不通过串扰抵销系统处理，因为它们并不造成空 间效应。通过此类部分串扰抵销可以促进用于声学装置且具体而言用于移动装置的增强空 间声音再现，由此提供较大空间效应并且同时保持电声系统上的负载较低。
[0031] 应用此类部分串扰抵销的音频信号处理可以增强用于移动装置的串扰抵销系统 的性能，方法是减少将由串扰抵销系统处理的所需量的信号能量。具体而言，本发明是基于 以下发现:在将输入信号分离成前端和环绕源之后仅将串扰抵销应用于对应于需要用于形 成空间效应的环绕源的声源。前端源可以不由串扰抵销系统处理。此技术促进具有最大空 间效应和低串扰抵销努力的空间声音再现。
[0032] 为了获得有说服力的空间效应，不需要将串扰抵销用于所有前端源301(参见图 3)。串扰抵销仅需要精确地放置环绕源302。位于朝向收听者方向的前端源301可以使用左 扬声器L与右扬声器R之间的简单幅值相移精确地定位。对于这些可以避免串扰抵销的使用 而无需改变信号的空间感知。
[0033] 举例来说，在音乐信号的立体音响扩展情境中，前端源不需要由串扰抵销系统处 理以便获得扩展效果。仅放置在收听者的左侧或右侧的源需要由串扰抵销系统处理。对于 典型的立体声流行音乐信号，前端源可以对应于唱歌的声音、低音和鼓。实际上，50%的总 体信号能量可以由这些前端源贡献，所述前端源是居中的，即，在两个声道中是相同的。同 时，仅50%的全部信号能量实际上由左和右源贡献。将信号分离成前端和环绕源并且仅以 选择性方式将串扰抵销应用于环绕源允许实现高度声道分离（串扰的高衰减），从而引起有 说服力的空间效应。同时，串扰抵销努力减小并且可以实现高动态范围和高输出声压级。 [0034]为了详细描述本发明，将使用以下术语、缩写以及符号：
[0035] M： 中间声道，
[0036] L： 左声道，
[0037] R： 右声道，
[0038] SL: 左侧或左环境声道，
[0039] SR: 右侧或右环境声道，
[0040] FR: 右前声道，
[0041 ] FL: 左前声道，
[0042] BR: 右后声道，
[0043] BL: 左后声道，
[0044] HRTF ： 头部相关传递函数，
[0045] BCC ： 双耳线索编码，
[0046] OSD ： 最佳源分配。
[0047]根据第一方面，本发明涉及用于处理音频信号的方法，所述方法包括:将包括空间 信息的音频信号分解成一组音频信号分量；以及根据第一处理方案处理所述一组音频信号 分量的第一子集且根据不同于第一处理方案的第二处理方案处理所述一组音频信号分量 的第二子集，其中第一子集包括对应于至少一个正面信号源的音频信号分量并且第二子集 包括对应于至少一个环境信号源的音频信号分量;其中第二处理方案是基于串扰抵销。 [0048]通过使用此类不同处理方案可以提供具有低串扰抵销努力的改进的空间声音再 现，因为串扰抵销仅需要用于对应于环境信号源的信号分量。
[0049]在根据第一方面的方法的第一可能实施形式中，分解音频信号是基于主成分分 析。
[0050] 主成分分析(Principal Component Analysis，PCA)提供主要源P的方向并且可以 因此用于有效地分解音频信号。
[0051] 在根据第一方面本身或根据第一方面的第一实施形式的方法的第二可能实施形 式中，第二处理方案进一步基于头部相关传递函数处理。
[0052] 头部相关传递函数(head-related transfer function，HRTF)是表征耳朵如何从 空间中的点接收声音的响应。因此HRTF处理提供较好的空间印象。
[0053]在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第三可能实 施形式中，第一处理方案包括幅值相移。
[0054] 为了获得居中位置，可以使用幅值相移，这引起幻象中央源，即，引起改进的空间 印象。
[0055] 在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第四可能实 施形式中，第一处理方案包括延迟和增益补偿。
[0056] 与串扰抵销相反，延迟和增益补偿易于实施。因此，应用包含延迟和增益补偿的第 一处理方案的方法是计算上高效的。
[0057] 在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第五可能实 施形式中，一组音频信号分量的第一子集和第二子集各自包括与左方向相关联的第一部分 以及与右方向相关联的第二部分。
[0058] 音频信号可以包含立体声音频信号和多声道音频信号这两者，这两者都可以包含 与左方向相关联的部分以及与右方向相关联的部分。因此，不同情境和使用情况可以通过 此方法处理。
[0059] 在根据第一方面第五实施形式的方法的第六可能实施形式中，所述方法包括:将 在根据第一处理方案处理之后一组音频信号分量的第一子集的第一部分与在根据第二处 理方案处理之后一组音频信号分量的第二子集的第一部分组合到左声道信号；以及将在根 据第一处理方案处理之后一组音频信号分量的第一子集的第二部分与在根据第二处理方 案处理之后一组音频信号分量的第二子集的第二部分组合到右声道信号。
[0060] 需要组合以用于生成扬声器信号。此类组合信号提供改进的空间效应，因为对应 于不同方向的源包含于这些组合信号中。
[0061] 在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第七可能实 施形式中，音频信号包括立体声音频信号；并且分解是基于将立体声音频信号转换成与一 组音频信号分量的第一子集相关联的中间信号分量且转换成都与一组音频信号分量的第 二子集相关联的左侧信号分量和右侧信号分量。
[0062] 所述方法允许用于立体声信号的改进的信号处理，由此改进立体声信号的空间印 象。
[0063] 在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第八可能实 施形式中，音频信号包括多声道音频信号；并且分解是基于将多声道音频信号解码成以下 信号分量:中央信号分量、右前信号分量、左前信号分量、右后信号分量、左后信号分量。
[0064] 所述方法允许用于多声道信号的改进的信号处理，由此改进多声道信号的空间印 象。
[0065] 在根据第一方面的第八实施形式的方法的第九可能实施形式中，中央信号分量与 一组音频信号分量的第一子集相关联;并且右前信号分量、左前信号分量、右后信号分量和 左后信号分量与一组音频信号分量的第二子集相关联。
[0066] 当右前信号分量、左前信号分量、右后信号分量和左后信号分量被串扰抵销时，所 述方法提供高空间印象。
[0067] 在根据第一方面的第八实施形式的方法的第十可能实施形式中，中央信号分量以 及右前信号分量和左前信号分量这两者都与一组音频信号分量的第一子集相关联;并且右 后信号分量和左后信号分量这两者都与一组音频信号分量的第二子集相关联。
[0068] 当仅右后信号分量和左后信号分量被串扰抵销时，所述方法提供具有高动态范围 和低计算复杂性的低能量方案。
[0069] 在根据第一方面的第八实施形式的方法的第^ 可能实施形式中，所述方法进一 步包括:将右前信号分量和左前信号分量转换成与一组音频信号分量的第一子集相关联的 中间信号分量并且转换成都与一组音频信号分量的第二子集相关联的左侧信号分量和右 侧信号分量;其中中央信号分量与一组音频信号分量的第一子集相关联;其中右后信号分 量和左后信号分量这两者都与一组音频信号分量的第二子集相关联。
[0070] 通过转换，多声道信号可以与立体声信号类似被处理，引起高动态范围和低计算 复杂性下的改进的空间印象。
[0071] 在根据第一方面本身或根据第一方面的任何先前实施形式的方法的第十二可能 实施形式中，第一处理方案不含串扰抵销。
[0072] 通过在第一处理方案中不具有串扰抵销，可以针对其中不需要此类串扰抵销的一 组音频信号分量的第一子集减小计算努力。
[0073]根据第二方面，本发明涉及移动装置，所述移动装置包括处理器，所述处理器用于 执行根据第一方面本身或根据第一方面的第一到第十一实施形式中的任一个的方法。所述 移动装置可以进一步包括至少一个左声道扬声器和至少一个右声道扬声器，所述左声道扬 声器用于根据第一方面的第六实施形式播放左声道信号，所述右声道扬声器用于根据第一 方面的第六实施形式播放右声道信号。
[0074]所述处理器可用于：将包括空间信息的音频信号分解成一组音频信号分量;根据 第一处理方案处理一组音频信号分量的第一子集;根据不同于第一处理方案的第二处理方 案处理一组音频信号分量的第二子集;其中第一子集包括对应于至少一个正面信号源的音 频信号分量并且第二子集包括对应于至少一个环境信号源的音频信号分量;其中第二处理 方案是基于串扰抵销。
[0075] 此类移动装置关于立体音响扩展、虚拟环绕播放和双耳再现形成增强空间效应， 甚至当扬声器接近彼此布置时也是如此。它们通过最大输出功率电平下的串扰的高衰减和 高动态范围提供高声道分离。
[0076] 根据第三方面，本发明涉及包括其上存储有程序代码以由计算机使用的可读存储 媒体的计算机程序或计算机程序产品，所述程序代码包括：用于将包括空间信息的音频信 号分解成一组音频信号分量的指令；以及用于根据第一处理方案处理所述一组音频信号分 量的第一子集以及根据不同于第一处理方案的第二处理方案处理所述一组音频信号分量 的第二子集的指令，其中第一子集包括对应于至少一个正面信号源的音频信号分量并且第 二子集包括对应于至少一个环境信号源的音频信号分量;其中第二处理方案是基于串扰抵 销。
[0077] 使用此类不同处理方案的计算机程序产品当在处理器上实施时提供具有低串扰 抵销努力的改进的空间声音再现，因为串扰抵销仅需要用于对应于环境信号源的信号分 量。所述计算机程序产品可以在许多移动装置上运行。它可以相对于物理环境或相对于它 在上面运行的硬件平台更新。
[0078] 在下文中所描述的技术提供当使用串扰抵销时减少放置在电声系统上的负载以 用于形成增强空间效应的方案。甚至在具有有限能力的电声系统的移动装置上也可以获得 大空间效应和高声压级。可以应用所述技术以增强立体声和多声道播放的空间效应。所述 技术构成可以与任何串扰抵销方案组合的预处理步骤。所述技术可以在不同实施例中灵活 地应用，聚焦于获得高空间效应或减少扬声器努力同时仍然保持良好的空间效应。与现有 技术方案组合以增强例如最佳源分配(optimal source distribution，OSD)和规则化的串 扰抵销的效率是可能的。与现有技术方案的此类组合将得益于较低数目的所需的扬声器 (OSD)或较少的所需的规则化(较高串扰衰减）。
【附图说明】
[0079] 本发明的其它实施例将结合以下附图进行描述，其中：
[0080]图1示出单箱体立体声再现装置的说明；
[0081] 图2示出典型串扰抵销滤波器的实例频率响应；
[0082] 图3示出2D水平平面中的前端源和环绕源的区别的说明；
[0083] 图4示出用于将常规的立体声信号分离成前端源和环绕源的转换器的说明；
[0084] 图5示出前端和左/右环绕源中的立体声信号的分离的说明；
[0085] 图6示出根据实施形式的说明立体声扩展装置600的框图；
[0086]图7示出根据提供高空间效应的实施形式的说明多声道处理装置700的框图；
[0087]图8示出根据提供低能量处理的实施形式的说明多声道处理装置800的框图；
[0088]图9示出根据实施形式的说明用于处理音频信号的方法900的框图；以及
[0089] 图10示出了根据实施形式的说明移动装置1000的框图，所述移动装置包含用于处 理音频信号的处理器1001。
【具体实施方式】
[0090] 以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式 示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用 其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发 明的范围由所附权利要求书界定。
[0091] 本文中描述的装置和方法可以基于音频信号，具体而言是立体声信号和多声道信 号。应理解结合所描述的方法作出的评论对于用于执行所述方法的对应的装置也可以同样 适用且反之亦然。举例来说，如果描述了特定方法步骤，那么对应的装置可以包含执行所描 述的方法步骤的单元，即使此类单元未在图中明确描述或说明也是如此。另外，应理解除非 以另外的方式专门指出，否则本文中描述的多种示例性方面的特征可以彼此组合。
[0092] 本文中描述的方法和装置可以在无线通信装置中实施，具体而言是可以例如根据 3G、4G和CDMA标准通信的移动装置(或移动台或用户设备(User Equipment，UE)。所描述的 装置可以包含集成电路和/或无源元件并且可以根据多种技术制造。举例来说，电路可以设 计为逻辑集成电路、模拟集成电路、混合信号集成电路、光学电路、存储器电路和/或集成无 源元件。
[0093] 本文中描述的方法和装置可以接收音频信号。音频信号是声音的表示，通常作为 电压。音频信号可以具有在大致20到20,000Hz(人类听觉的极限）的音频频率范围中的频 率。扬声器或头戴式耳机可以将电音频信号转换成声音。音频信号的数字表示以多种格式 存在，例如，立体声音频信号或多声道音频信号。
[0094] 本文中描述的装置和方法可以基于立体声信号和多声道音频信号。立体声声音或 立体声是形成方向性和听觉角度的错觉的声音再现的方法。这可以通过使用两个或两个以 上独立音频通道经由两个或两个以上扬声器的配置形成立体声信号实现，其方式为形成从 多种方向听到声音的印象，如同在自然的听觉中。术语"多声道音频"是指多个音频轨道的 使用以在多扬声器声音系统上重建声音。取决于使用多少音频轨道，通过小数点分隔开的 两个数位(2.1、5.1、6.1、7.1等)可用于对各种扬声器设置进行分类。第一数位可以示出主 要声道的数目，其中的每一个可以在单个扬声器上再现，而第二数位可以指低频效果(Low Frequency Effeet，LFE)的存在，其可以在低音炮上再现。因此，1.0可以对应于单声（意味 着一个声道)并且2.0可以对应于立体声。多声道声音系统可以依赖于每个源声道到其自身 的扬声器的映射。矩阵系统可以恢复源声道的数目和内容并且可以将它们适用于它们的相 应的扬声器。所传输信号可以或多或少地对信息(界定最初声场)进行编码;呈现环绕声信 息以用于通过解码器重播，所述解码器针对可用于重播的扬声器的数目生成扬声器馈送的 数目和配置。
[0095] 本文中描述的装置和方法可以基于头部相关传递功能。头部相关传递函数(head-related transfer function，HRTF) 是表征耳朵如何从空间中的点接收声音的响应； 用于 两只耳朵的一对HRTF可用于合成似乎来自空间中的特定点的双耳声音。传递函数描述来自 特定点的声音将如何到达耳朵(大体上在听道的外端处）。
[0096] 如本文中描述的装置和方法中所使用的音频信号可以包含双耳信号以及双耳线 索编码(binaural cue coded，BCC)信号。双耳意味着涉及两只耳朵。双耳听觉连同频率线 索一起使人们确定声音的来源的方向。双耳信号是传输呈现给两只耳朵的听觉刺激的信 号。双耳线索编码是用于众多音频信号或音频通道的低比特率编码的技术。具体来说，它处 理出于在接收器处呈现的目的传输多个单独源信号以及传输立体声或多声道信号的多个 音频通道的两个情境。BCC方案共同地传输多个音频信号作为一个单个通道，表示为和信 号，加上低比特率辅助信息，确保此类信号的低比特率传输。BCC是有损耗的技术并且无法 恢复原始信号。它旨在在感知上恢复信号。BCC可以在子带中操作并且能够使多个源信号空 间化，仅给出相应的和信号（借助于辅助信息）ACC信号的编码和解码描述于Faller，C.， Baumgarte，F.; "双耳线索编码-第二部分：方案和应用（Binaural Cue Coding-Part II: Schemes and Applications)"，语音和音频处理学报，第11卷，第6号，2003中。
[0097]以下图式说明不同地处理前端和环绕源的本发明的不同方面，其允许从串扰抵销 系统中移除大部分的信号能量，由此降低串扰抵销努力和所发射的输出功率而无需降低空 间效应。
[0098]图6示出根据一个实施形式说明立体声扩展装置600的框图。立体声扩展装置600 可以包含转换器601、可选的处理块603、衰减器605、HRTF处理块607、串扰抵销块609和两个 加法器611、613。
[0099]立体声扩展装置600可以接收包含左声道分量602a和右声道分量602b的音频信 号。在一个实例中，音频信号包含立体声音频信号。在一个实例中，音频信号包含多声道信 号的正面声道。转换器601可以将音频信号转换成中间信号606a和两个侧面信号606,即，左 侧信号SL和右侧信号SR。中间信号606a可以由包含延迟603a和增益603b的可选的处理块 603处理并且由衰减器605处理。延迟、放大和衰减的中间信号606a可以提供到两个加法器 611、613。两个侧面信号606可以由HRTF处理块607和串扰抵销块609处理。HRTF转化和串扰 抵销侧面信号606可以各自提供到相应的加法器，例如，左侧信号SL提供到第一加法器613 并且右侧信号SR提供到第二加法器611。第一加法器613的输出信号可以提供到移动装置 615的左扬声器619，并且第二加法器611的输出信号可以提供到移动装置615的右扬声器 617,或反之亦然。
[0100] 可以应用立体声扩展装置600以针对在具有小跨度角的扬声器上重放立体声音频 信号获得立体声扩展效果。为此目的，输入音频信号(L，R)可以使用转换器601分成含有前 端源（中间信号M)和两个侧面信号(左侧SL和右侧SR)的信号：
[0101]
[0102] 中间信号M可以含有包含于两个声道中的所有源。侧面信号SL和SR可以含有仅包 含于输入声道中的一个中的信息。可以从L、R中移除M以获得SL、SR。
[0103] SL和SR(包括与L和R相比的较低信号能量)可以通过使用串扰抵销的高空间效应 播放并且和可选地使用HRTF处理。
[0104] M可以直接在两个扬声器617、619上播放。为了获得居中位置，可以使用幅值相移， 这引起幻象中央源。可能需要增益减小603b以便确保最初立体声感知不发生变化。在两个 扬声器617、619上播放中间信号M可以引起声压级的6dB增大(在理想条件下）。因此，可能需 要3dB的M的减小605(或具有增益丨,的倍增）。这仅是粗略值，增益的变化允许调整现实 世界条件和收听者偏好。
[0105] 可以应用包括延迟603a和增益603b补偿的可选的处理块603以便补偿在串扰抵销 系统中引入的额外延迟和增益。
[0106] 延迟603a可以补偿HRTF和串扰抵销中的算法延迟。增益603b可以允许采用M与SL、 SR之间的比率产生与立体声信号的Μ/S处理类似的效果。
[0107] 立体声扩展装置600也可以用于处理多声道音频信号的左前声道和右前声道。
[0108] 图7示出根据提供高空间效应的实施形式的说明多声道处理装置700的框图。多声 道处理装置700可以包含解码器701、可选的处理块703、衰减器705、HRTF处理块707、串扰抵 销块709和两个加法器711、713。
[0109]多声道处理装置700可以接收多声道音频信号702。解码器701可以将多声道音频 信号702解码成中央信号Ctr 706a和四个侧面信号FL(左前）、FR(右前）、BL(左后）、BR(右 后）706。中央信号706a可以由包含延迟703a和增益703b的可选的处理块703处理并且由衰 减器705处理。延迟、放大和衰减的中央信号706a可以提供到两个加法器711、713。四个侧面 信号706可以由HRTF处理块707处理，在两个双耳信号708中转换四个侧面信号并且进一步 由串扰抵销块709处理。串扰抵销双耳信号可以各自提供到相应的加法器，例如，右边的一 个提供到第一加法器711并且左边的一个提供到第二加法器713。第一加法器711的输出信 号可以提供到移动装置615的右扬声器617,并且第二加法器713的输出信号可以提供到移 动装置615的左扬声器619,或反之亦然。
[0110]在播放可以呈现含有前端源的离散中央声道Ctr 706a的多声道音频信号的情况 下，可能不需要转换器。实际上，可以对多声道音频信号进行解码以获得个别的音频通道。 含有前端居中源的中央声道Ctr 706a可以间隔开、延迟703a和增益校正703b(可选的），并 且直接在两个扬声器617、619上播放。幅值相移可用于在两个扬声器L与R之间在中央形成 幻象源。可能需要增益减小以便确保最初立体声感知不发生变化。在[ITU-R BS. 775-3]中， 推荐3dB的增益减小705以用于在两个前扬声器617、618上重放中央声道Ctr 706a。这仅是 粗略值，增益的变化允许调整现实世界条件和收听者偏好。
[0111] 左前、右前和环绕声道左后和右后可以使用HRTF以高空间效应播放以获得双耳信 号和串扰抵销。含有大量信号能量的前端源可以播放而无需串扰抵销，这减小了串扰抵销 努力。
[0112]多声道处理装置700可以提供最佳空间效应，因为所有环绕源可以高空间效应播 放。
[0113]图8示出根据提供低能量处理的实施形式的说明多声道处理装置800的框图。多声 道处理装置800可以包含解码器801、第一可选处理块803、第二可选处理块805、HRTF处理块 807、串扰抵销块809、第三可选处理块811、衰减器813和两个加法器815、817。
[0114] 多声道处理装置800可以接收多声道音频信号702。解码器801可以将多声道音频 信号702解码成中央信号Ctr 806a和四个侧面信号FL(左前）、FR(右前），给出参考符号 806b，BL(左后）、BR(右后），给出参考符号806。中央信号806a可以由第一可选处理块803处 理，所述第一可选处理块可以对应于上文关于图7所述的处理块703,并且通过衰减器813处 理。可选地处理和衰减的中央信号806a可以提供到两个加法器815、817。两个前侧信号FR和 FL 806b可以各自相应地由第二可选处理块805和第三可选处理块811处理。如此处理的右 前侧信号FR可以提供到第一加法器815并且如此处理的左前侧信号FL可以提供到第二加法 器817。两个背面信号BR和BL 806可以由HRTF处理块807处理，在两个双耳信号808中转换这 两个侧面信号并且进一步由串扰抵销块809处理。串扰抵销双耳信号可以各自提供到相应 的加法器，例如，右边的一个提供到第一加法器815并且左边的一个提供到第二加法器817。 第一加法器815的输出信号可以提供到移动装置615的右扬声器617，并且第二加法器817的 输出信号可以提供到移动装置615的左扬声器619,或反之亦然。
[0115] 在扬声器L 619与R 617之间的跨度角较大的情况下(例如，60度），另外，左前FL声 道和右前FR声道可以播放而无需串扰抵销809,如图8中所示。作为一个实例，两个前侧信号 FR和FL 806b可以被当作中央信号Ctr 806a处理(例如，延迟和/或放大或减少)或使用相同 第一处理方案处理(其不含串扰抵销）。随后，仅环绕声道(左后BL和右后BR)可以使用HRTF 807处理以获得双耳信号808并且使用串扰抵销809再现。因此，不向两个前侧信号FR和FL 806b施加串扰抵销。
[0116]多声道处理装置800可以使所需量的串扰抵销降到最小；它可以仅用于两个环绕 声道中的空间效应，这可以仅反映整个信号能量的较少部分。因此，所需的串扰抵销努力可 以降到最小。
[0117]在一个实施方案中，使用如上文关于图6所述的多声道处理装置800与立体声扩展 装置600的组合引起装置使用如上文关于图6所述的转换器601将左前输入声道和右前输入 声道分尚成中间M以及SL和SR的侧面分量。随后，仅侧面分量SL和SR而非中间信号M可以串 扰抵销播放。与图8中说明的多声道处理装置800相比，空间效应可以针对正面声道增大而 无需关于图7所描述的多声道处理装置700的高串扰抵销负载。多声道处理装置800与立体 声扩展装置600的组合实施方案可用作多声道信号的优选实施例。
[0118] 图9示出根据实施形式的说明用于处理音频信号的方法900的框图。方法900可以 包含将包括空间信息的音频信号分解901成一组音频信号分量。方法900可以包含根据第一 处理方案处理902-组音频信号分量的第一子集以及根据不同于第一处理方案的第二处理 方案处理一组音频信号分量的第二子集。第一子集可以包含对应于至少一个正面信号源的 音频信号分量并且第二子集可以包含对应于至少一个环境信号源的音频信号分量。第二处 理方案可以基于串扰抵销。
[0119] 在实施形式中，可以基于主成分分析分解音频信号。在实施形式中，第二处理方案 可以进一步基于头部相关传递函数处理。在实施形式中，第一处理方案可以包含幅值相移。 在实施形式中，第一处理方案可以包含延迟和增益补偿。在实施形式中，一组音频信号分量 的第一子集和第二子集可以各自包含与左方向相关联的第一部分以及与右方向相关联的 第二部分。在实施形式中，方法900可以包含将在根据第一处理方案处理之后一组音频信号 分量的第一子集的第一部分与在根据第二处理方案处理之后一组音频信号分量的第二子 集的第一部分组合到左声道信号。在实施形式中，方法900可以包含将在根据第一处理方案 处理之后一组音频信号分量的第一子集的第二部分与在根据第二处理方案处理之后一组 音频信号分量的第二子集的第二部分组合到右声道信号。在实施形式中，音频信号可以包 含立体声音频信号。在实施形式中，分解可以基于将立体声音频信号转换成与一组音频信 号分量的第一子集相关联的中间信号分量以及与一组音频信号分量的第二子集相关联的 左侧信号分量和右侧信号分量两者。
[0120] 在实施形式中，音频信号可以包含多声道音频信号。在实施形式中，分解可以基于 将多声道音频信号解码成以下信号分量：中央信号分量、右前信号分量、左前信号分量、右 后信号分量、左后信号分量。在实施形式中，中央信号分量可以与一组音频信号分量的第一 子集相关联。在实施形式中，右前信号分量、左前信号分量、右后信号分量和左后信号分量 可以与一组音频信号分量的第二子集相关联。
[0121]在实施形式中，中央信号分量和右前信号分量与左前信号分量这两者可以与一组 音频信号分量的第一子集相关联。在实施形式中，右后信号分量与左后信号分量这两者可 以与一组音频信号分量的第二子集相关联。在实施形式中，方法900可以包含将右前信号分 量和左前信号分量转换成与一组音频信号分量的第一子集相关联的中间信号分量以及与 一组音频信号分量的第二子集相关联的左侧信号分量和右侧信号分量两者。
[0122] 方法900可以在处理器上实施，例如，如关于图10所描述的移动装置的处理器 IOOlo
[0123] 图10示出了根据实施形式的说明移动装置1000的框图，所述移动装置包含用于处 理音频信号的处理器1001。移动装置1000包含处理器1001，所述处理器用于执行如上文关 于图9所述的方法900。处理器1001可以实施如上文关于图6、7和8所述的装置600、700、800 中的一个或组合。移动装置1000可以包含至少一个左声道扬声器和至少一个右声道扬声 器，所述左声道扬声器用于如上文关于图6到9所述播放左声道信号，所述右声道扬声器用 于如上文关于图6到9所述播放右声道信号。
[0124] 本文中描述的方法、系统和装置可以实施为在数字信号处理器(Digital Signal Processor，DSP)、微控制器或任何其它侧处理器中的软件或实施为专用集成电路 (application specific integrated circuit，ASIC)内的硬件电路。
[0125] 本发明可以实施于数字电子电路或计算机硬件、固件、软件或其组合中，例如，实 施于常规移动装置的可用硬件或专用于处理本文所描述的方法的新硬件中。
[0126] 本发明还支持包含计算机可执行代码或计算机可执行指令的计算机程序产品，所 述计算机可执行代码或计算机可执行指令当被执行时，使得至少一个计算机执行本文中描 述的执行和计算步骤，具体而言是如上文关于图9所述的方法900以及上文关于图6到8所述 的技术。此类计算机程序产品可以包含其上的可读存储媒体存储程序代码以供计算机使 用，所述程序代码可以包含：用于将包括空间信息的音频信号分解成一组音频信号分量以 及根据第一处理方案处理所述一组音频信号分量的第一子集以及根据不同于第一处理方 案的第二处理方案处理所述一组音频信号分量的第二子集的指令，其中第一子集包括对应 于至少一个正面信号源的音频信号分量并且第二子集包括对应于至少一个环境信号源的 音频信号分量;并且其中第二处理方案是基于串扰抵销。
[0127] 尽管本发明的特定特征或方面可能已经仅结合几种实现方式中的一种进行公开， 但此类特征或方面可以和其他实现方式中的一个或多个特征或方面相结合，只要对于任何 给定或特定的应用是有需要或有利。而且，在一定程度上，术语"包括"、"有"、"具有"或这些 词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语"包含"是类似 的，都是表示包括的含义。并且，术语"示例性"、"举例来说"和"例如"仅意味着作为一个实 例，而非最好或最佳的。
[0128] 虽然本文中已说明及描述特定方面，但所属领域的一般技术人员将了解多种替代 及/或等效实施方案可替代所示及所述的特定方面而不脱离本发明的范围。该申请旨在覆 盖本文论述的特定方面的任何修改或变更。
[0129] 尽管所述权利要求书中的各元素是借助对应的标签按照特定顺序列举的，除非对 权利要求的阐述另有暗示用于实现部分或所有这些元素的特定顺序，否则这些元素并不一 定限于以所述特定顺序来实现。
[0130] 通过以上启示，对于本领域技术人员来说，许多替代产品、修改及变体是显而易见 的。当然，所属领域的技术人员容易意识到除本文所述的应用之外，还存在本发明的众多其 它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识 到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在 所附权利要求书及其等效文句的范围内，可以用不同于本文具体描述的方式来实践本发
【主权项】
1. 一种用于处理音频信号的方法(900)，其特征在于，所述方法包括： 将包括空间信息的音频信号(602a，602b; 702)分解(901)成一组音频信号分量；以及 根据第一处理方案（603;703;803;805;811)处理(902)所述一组音频信号的第一子集 (606a;706a;806a)且根据不同于所述第一处理方案(603;703;803;805;811)的第二处理方 案(609; 709; 809)处理所述一组音频信号分量的第二子集(606; 706; 806)， 其中所述第一子集(606a; 706a; 806a)包括对应于至少一个正面信号源(M; Ctr)的音频 信号分量并且所述第二子集(606;706;806)包括对应于至少一个环境信号源（31^，31?#1^， FR，BR，BK)的音频信号分量； 其中所述第二处理方案(609; 709; 809)是基于串扰抵销。2. 根据权利要求1所述的方法(900)， 其特征在于，所述分解(901)所述音频信号是基于主成分分析的。3. 根据权利要求1或2所述的方法(900)， 其特征在于，所述第二处理方案(609)进一步基于头部相关传递函数处理(607)。4. 根据前述权利要求中任一项所述的方法(900)， 其特征在于，所述第一处理方案(603)包括幅值相移。5. 根据前述权利要求中任一项所述的方法(900)， 其特征在于，所述第一处理方案(603; 703)包括延迟(603a; 703a)和增益(603b; 703b) 补偿。6. 根据前述权利要求中任一项所述的方法(900)， 其特征在于，所述一组音频信号分量的所述第一子集(606a; 706a; 806a，806b)和所述 第二子集(606; 706; 806)各自包括与左方向相关联的第一部分(L)以及与右方向相关联的 第二部分(R)。7. 根据权利要求6所述的方法(900 )，其特征在于，其进一步包括： 将在根据所述第一处理方案(603; 703; 803，811)处理之后的所述一组音频信号分量的 第一子集(606a; 706a，806a; 806b)的所述第一部分(L)与在根据所述第二处理方案(609; 709; 809)处理之后的所述一组音频信号分量的所述第二子集(606; 706; 806)的所述第一部 分(L)组合到左声道信号；以及 将在根据所述第一处理方案(603;703;803,805)处理之后的所述一组音频信号分量的 所述第一子集（606a; 706a，806a; 806b)的所述第二部分（R)与在根据所述第二处理方案 (609; 709; 809)处理之后的所述一组音频信号分量的所述第二子集(606; 706; 806)的所述 第二部分(R)组合到右声道信号。8. 根据前述权利要求中任一项所述的方法(900)， 其特征在于，所述音频信号包括立体声音频信号(602a，602b); 其中所述分解(901)是基于将所述立体声音频信号（602a，602b)转换成与所述一组音 频信号分量的所述第一子集(606a)相关联的中间信号分量(M)并且转换成都与所述一组音 频信号分量的所述第二子集(606)相关联的左侧(SL)信号分量和右侧(SR)信号分量。9. 根据前述权利要求中任一项所述的方法(900)， 其特征在于，所述音频信号包括多声道音频信号(702); 其中所述分解(901)是基于将所述多声道音频信号(702)解码成以下信号分量： 中央信号分量(Ctr)， 右前信号分量(FR)， 左前信号分量(FL)， 右后信号分量(BR)， 左后信号分量(BL)。10. 根据权利要求9所述的方法(900)， 其特征在于，所述中央信号分量（Ctr)与所述一组音频信号分量的所述第一子集 (706a)相关联； 其中所述右前(FR)信号分量、所述左前(FL)信号分量、所述右后（BR)信号分量和所述 左后(BL)信号分量与所述一组音频信号分量的所述第二子集(706)相关联。11. 根据权利要求9所述的方法(900)， 其特征在于，所述中央信号分量(Ctr)以及所述右前(FR)信号分量和左前(FL)信号分 量这两者都与所述一组音频信号分量的所述第一子集(806a; 806b)相关联； 其中所述右后(BR)信号分量与左后(BL)信号分量这两者都与所述一组音频信号分量 的所述第二子集(806)相关联。12. 根据权利要求9所述的方法(900 )，其特征在于，其进一步包括： 将所述右前(FR)信号分量和左前(FL)信号分量转换成与所述一组音频信号分量的所 述第一子集相关联的中间信号分量(M)且转换成都与所述一组音频信号分量的所述第二子 集相关联的左侧(SL)信号分量和右侧(SR)信号分量； 其中所述中央信号分量(Ctr)与所述一组音频信号分量的所述第一子集相关联； 其中所述右后(BR)信号分量与左后(BL)信号分量这两者都与所述一组音频信号分量 的所述第二子集相关联。13. 根据权利要求1到12中的一项所述的方法（900)，其特征在于，所述第一处理方案 (603;703;803,805;811)不含串扰抵销。14. 一种移动装置(1000 )，其特征在于，包括： 处理器（1001)，用于 将包括空间信息的音频信号(602a、602b; 702)分解成一组音频信号分量； 根据第一处理方案（603 ; 703 ; 803，805 ; 811)处理所述一组音频信号分量的第一子集 (606a；706a；806a)； 根据不同于所述第一处理方案（603; 703; 803，805; 811)的第二处理方案（609; 709; 809)处理所述一组音频信号分量的第二子集(606; 706; 806); 其中所述第一子集(606a; 706a; 806a)包括对应于至少一个正面信号源(M; Ctr)的音频 信号分量并且所述第二子集(606;706;806)包括对应于至少一个环境信号源的音频信号分 量； 其中所述第二处理方案(609; 709; 809)是基于串扰抵销。15. -种具有程序代码的计算机程序，其特征在于，所述程序代码用于在所述计算机程 序在计算机上运行时执行根据权利要求1到13中的一项所述的方法。
【文档编号】H04S3/00GK105917674SQ201380080499
【公开日】2016年8月31日
【申请日】2013年10月30日
【发明人】彼得·格罗舍, 郎玥
【申请人】华为技术有限公司