借助 3D Meter 以视觉形式显示 Ambisonics 信息

声音设计 / 空间音频

Ambisonics

自 2016.1 版本起,Wwise 总线开始支持 Ambisonics 声道格式。Wwise 兼顾编码和解码过程:编码是指在 Ambisonics 总线中将非 Ambisonics 信号混音;解码是指在非 Ambisonics 总线中将 Ambisonics 信号混音。藉此,用户可在 Ambisonics 总线中将环境中的多个声音混音,然后再利用 3D 音频插件(如 Auro Headphone)将 Ambisonics 信号转码为双耳信号。另外,还可为 Ambisonics 总线应用 Wwise Recorder 效果器,然后直接导出 Ambisonics 音频。

显示 Ambisonics 信息

Ambisonics 声道格式的一大优势就是支持多种扬声器设置。如此一来,便可将 Ambisonics 信号解码并适配各种类型的扬声器设置。另外,还可根据听者位置及朝向来旋转声场。不过,这也给我们提出了一个难题,即如何在用户界面中有效地显示音频数据。在采用 Ambisonics 声道格式时,每个声道对应声场中特定的球面谐波。也就是说,每个声道的电平表数据将决定空间中多个点的声音电平。如此一来,仅仅通过观察声道电平表便很难理解 Ambisonics 声道配置包含的空间信息。这时,必须先将经过编码的 Ambisonics 信号(由声道信息表示)解码为特定的扬声器设置,然后才能察看目标设置中各个扬声器的信号电平。Kronlachner 和 Zotter 所写论文 (2014) 以及 Lecomte 和 Gauthier 所写论文 (2015) 中使用的就是这种方法。

在将 Ambisonics 信号解码为目标扬声器设置时,扬声器的分布会影响重构声场的空间精度(详见 Trevino 等人所写论文 (2010))。确切地说,扬声器设置在各个方向上的分布均匀程度将决定解码过程的复杂程度。为了有效地显示 Ambisonics 声道配置包含的空间信息,必须先将数据解码为特定的虚拟扬声器设置,然后再利用该虚拟扬声器设置来显示空间化数据。3D Meter(3D 电平表)就是通过这种方式显示空间化 Ambisonics 数据的。

3D Meter

3D Meter 采用视觉形式显示 Ambisonics 总线包含的方向信息。它首先将 Ambisonics 声道数据解码到局部总线空间中按球面分布的各个虚拟扬声器位置,进而将音频数据显示为球体热图。然后,分别测量这些虚拟扬声器,并使用扬声器的信号电平来构建平滑热图。接着,将扬声器电平发送给自定义像素着色器来渲染球体。最后,根据球体中每个像素与球体表面各个虚拟扬声器位置的接近程度以及各个位置的信号电平进行着色。这样用户便可通过 3D Meter 察看 Ambisonics 总线包含的方向信息以及听者周围声源对其产生的影响。3D Meter 中设有四个独立面板,方便从不同角度查看声场。另外,还有六个固定的正交视点(Top、Bottom、Front、Back、Left、Right)以及一个 Perspective 视点。您可以通过单击和拖动方式在声场周围旋转该 Perspective 视点。另外,对于各个视点,还可使用鼠标滚轮进行缩放。

 

Media_1

另外,3D Meter 还方便对比不同 Ambisonics 声道格式的空间分辨率。以下例子对比了一阶、二阶和三阶 Ambisonics 总线的空间分辨率。在每个例子中,都使用两个相同的声源并在总线中混音;一个摆位至中前声道,一个摆位至中后声道。从图中可以看出,三阶 Ambisonics 对各个声源的空间定位较为精确,而低阶 Ambisonics 格式的空间定位则较为模糊。在以下例子中,视点设置如下:左上面板 – Back;右上面板 – Front;左下面板 – Top;右下面板 – Perspective

 

 

Media_2

一阶 Ambisonics 总线中将前后声源混音

 

Media_3

二阶 Ambisonics 总线中将前后声源混音

 

Media_4

三阶 Ambisonics 总线中将前后声源混音

 

颜色映射

热图的颜色用于指示不同的 dB 范围。您可以在 Meter Settings(电平表设置)窗口中配置这些映射。在该窗口中,颜色的 dB 阈值指示两种颜色之间的渐变界限。在下例中,在范围介于 -20 dB ~ -16 dB 时,电平表将在黑色和蓝色之间渐变。在范围介于 -16 dB ~ -12 dB 时,则在蓝色和绿色之间渐变。

 

MEdia_5

若要从电平表中去除某种颜色,则可将其 dB 阈值设为低于在其之前的所有阈值。在下例中,便从电平表上显示的色彩图中去除了绿色。

MEdia_6

平滑处理

在测量球体周围各个虚拟扬声器位置时,3D Meter 会应用平滑处理。这种平滑处理方式与 Wwise Meter 插件相同。其中,Attack(起音)值决定显示值上升 10 dB 所用的时间;Release(释音)值决定显示值下降 10 dB 所用的时间。注意,若将 Wwise Meter 插件应用于单个声源,则在 Ambisonics 总线中进行混音之前,该声源 Meter 插件显示的电平表值与 Ambisonics 总线所用 3D Meter 显示的值将不一致。这是由 Ambisonics 解码过程中应用的增益系数造成的。在测量原始声源时,会直接进行测量,而不应用空间化。在混音为 Ambisonics 信号后,则会对声源进行空间化,然后按照固定距离移至远离听者的某个点。因此,在解码后测量 Ambisonics 信号时,Ambisonics 声场内原始声源的信号电平会低于单独测量时的信号电平。在下例中,直升机环绕听者位置移动并发出断断续续的声音。在减小 Release 值时,电平表对电平变化的反应加快,因而图中色彩变化也快。在增大 Release 值时,电平表值的变化则会越来越平缓。

Media_7

参考文献
  • Kronlachner, M. and Zotter, F., 2014, February. Spatial transformations for the enhancement of Ambisonic recordings. In Proceedings of the 2nd International Conference on Spatial Audio, Erlangen.
  • Lecomte, P. and Gauthier, P.A., 2015, November. Real-time 3D ambisonics using FAUST, processing, pure data, and OSC. In 15th International Conference on Digital Audio Effects (DAFx-15), Trondheim.
  • Trevino, J., Okamoto, T., Iwaya, Y. and Suzuki, Y., 2010, August. High order Ambisonic decoding method for irregular loudspeaker arrays. In Proceedings of 20th International Congress on Acoustics (pp. 23-27).

肖恩·索拉汉(SEAN SORAGHAN)

肖恩·索拉汉(SEAN SORAGHAN)

Audiokinetic软件开发工程师肖恩·索拉汉 (Sean Soraghan) 目前就职于 Audiokinetic,是一名软件开发工程师,主要从事 Wwise 设计工具开发以及 Unity 和 Unreal 游戏引擎集成工作。在此之前,他拿到了工程学博士学位,重点研究音乐音色的表示法和视觉化。另外,还协助举办过大型声音视觉装置展会。他喜欢在闲暇之余开发各种游戏和工具。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

怪物语音制作分享

怪物语音声音设计大致分成两类,一类是不同状态下的嘶吼和喉音(Short...

8.6.2020 - 作者:李敬平

游戏和影视行业在音频制作上的一些区别 – 第 2 部分

在本文第 1...

10.8.2020 - 作者:杰斯帕.安卡菲尔德(JESPER ANKARFELDT)

《Divinuet》的互动音乐系统 – 第 2 部分

大家好,第二篇博文出炉了!在此,我将进一步探讨本人即将推出的塔罗牌音乐生成游戏《Divinuet》。如尚未阅读第 1 部分,建议先点击此处查看。 正如我在第 1 部分中所说,该游戏大致分为 2...

26.1.2021 - 作者:梅根·卡恩斯 (Megan Carnes)

atmoky Ears | 针对耳机为 Wwise 开发的空间音频插件

atmoky Ears 一站式解决方案允许通过耳机为用户提供逼真的空间音频体验。它具备无可比拟的感知品质和效率,能将每一空间音频混音打造到极致。atmoky Ears...

15.12.2021 - 作者:马库斯•扎恩施姆 (Markus Zaunschirm)

加快 Strata 工作流程 | 第 2 部分 – Open Associated REAPER Project

简介 作为使用 REAPER 和 Wwise 的声音设计师,在 Wwise 中操作时经常会遇到想在 REAPER 中重新渲染声音的情形。为此,通常要手动查找源 REAPER...

26.7.2023 - 作者:Audiokinetic (音频动能)

Wwise Spatial Audio 2023.1 新增功能 | 减弱相位偏移效应

在今天的博文中,我们将深入探讨在对给定环境进行声学建模时可能会遇到的一种有趣声学现象:相位偏移。我们先简单了解一下相位偏移的基本物理特性,然后再展示 Reflect 在 Wwise 23.1...

25.1.2024 - 作者:艾伦•李 (Allen Lee)

更多文章

怪物语音制作分享

怪物语音声音设计大致分成两类,一类是不同状态下的嘶吼和喉音(Short...

游戏和影视行业在音频制作上的一些区别 – 第 2 部分

在本文第 1...

《Divinuet》的互动音乐系统 – 第 2 部分

大家好,第二篇博文出炉了!在此,我将进一步探讨本人即将推出的塔罗牌音乐生成游戏《Divinuet》。如尚未阅读第 1 部分,建议先点击此处查看。 正如我在第 1 部分中所说,该游戏大致分为 2...