《Kid A Mnesia Exhibition》是 2021 年推出的一款数字展览作品，其中展示了为 Radiohead 的《Kid A》（2000 年）和《Amnesiac》（2001 年）专辑创作的音乐和插图。我们与其幕后的音频团队一起讨论了项目的开发、协作、Wwise 的使用、面临的挑战和独特的解决方案以及空间音频等等。据此撰写了这篇博文，希望对各位有所帮助！ 

1. 《Kid A Mnesia》互动体验是怎么来的？您在制作之初就参与其中了吗？怎么把创作概念打造成最终作品的？有没有明确的构想或者说拿主意的人？

Matthew Davis：我们最初是想做个 IRL 展览，跟现在的概念差不多，都是展示乐队在 Kid A / Amnesiac 时期创作的各种艺术作品（包括音频和图像）。鉴于各种限制（尤其是疫情），在 2020 年的时候逐渐倾向于以虚拟作品的形式来呈现。在跟乐队制作人 Nigel 和项目总监 Sean 碰过几次面之后，我们发现完全可以通过 Unreal 和 Wwise 来实现自己的创作构想。

从一开始我们就有清晰的创作构想，Sean、Nigel、Thom 和 Dan 都很有远见，在项目当中也为我们提供了很大的帮助。就像 Sean 说的，“这款数字展览作品展示了 Kid A / Amnesiac 时期创作的各种艺术作品。它将迷宫和巴别图书馆的概念融合在了一起。我们想要营造一种迷失感，但又不至于让人感到绝望。有时，玩家可能会感到不知所措。不过展览里面没有死胡同，通往目标的路也不止一条。”

2. 怎么把 Radiohead 的音乐转化为《Kid A Mnesia》中的空间音频的？都有谁参与其中？获得了哪些素材？怎么交流想法的？在确立创作构想之后怎么审核的？

Matthew Davis：我听到的第一个创作理念叫 Exploded Songs。因为唱片里和现实中都有大量的素材，可以把所有内容都拆分成不同的部分，然后根据创作需要灵活地组合在一起，确保既忠于原作又能获得想要的体验。Nigel 对如何加以实现有很明确的想法：音频要像画卷一样徐徐呈现，不能跟炸弹似的一下子爆开。这是个连续的体验过程，有上下起伏和前后衔接。开始的时候，我们在如何运用空间化和反射上做了反复的讨论。比如，剧情声跟配乐要区别对待吗？哪些声音要做空间化处理？我特别喜欢这样的交流和对话。这样既可保留原有素材的精髓，又能确保两者之间有一定差别。

因为当时发生了疫情，所有人只能远程办公，所以我们都是在 Zoom 上开会讨论创作方向的。在此之后，我会在 Ableton 中使用最新项目的视频和 Nigel 为展览准备的原始专辑分轨就编曲和混音做各种尝试。在此之前，Nigel 在重新混音、重新编排和创建新的素材版本方面做了大量的工作。所以，我们只需要对这些简单做了配乐的视频做些调整，确保编排、循环和触发逻辑、粗混、氛围等协调一致，然后在 Wwise/Unreal 中加以实现。 

3. 有没有遇到过对解决方案有特殊要求的技术限制？

Braeger Moore：对于我们遇到的大多数限制，只要综合运用 Wwise 功能就能解决。比如，基于高度角和非对称衰减有选择地放置并切换发声体来创建较为可控的衍射路径或基于空间进行混音和触发…不过，有两项限制需要我们自己想办法应对。

我们当时使用的 Wwise 版本比较老，没法把 UE 媒体音频导入到 Wwise 中的混音器插件。所以，我们只能在影音室手动同步数小时的音频和视频。为此，我暴露了 GetSourcePlaybackPosition 回调，从视频中获取了时间信息，对两种结果进行了比对，并调整了音频的音高以保持同步。

另一种变通方法最终没有用在发布版本中。不过，我创建了一个系统来在 UE 中与音乐同步执行各种操作。为此，我使用了现有的 Stinger 系统 – 复制特定的 SFX 作为 Stinger，使用 Python 脚本解析各个 Work Unit，获取所有计时数据和文件关联，然后将其保存到 UE 的数据表中。这样就可以根据需要灵活地调节音频。比如，在开门和关门的时候让这些音效刚好卡在点上。

4. 在《Kid A Mnesia》中，玩家可以在非线性空间中穿梭。针对不确定时间线、快速通关及其他类似互动游戏的机制做出了哪些决定？

Braeger Moore：对此，我们并没有做多么复杂精妙的设计，只在管理房间状态和混音上做得比较细致。尤其是在 CRT Room 中，做了大量的处理！

5. 怎么使用现有的各种空间音频技术的？比如，双耳处理、Ambisonics、音频对象、环绕声格式。

Clay Schmitt：为了让这些优美的歌曲有戏剧性的转变，我们会在间隙空间中尽可能地贴近现实，在被特色房间的音乐吸引时再慢慢淡出。为此，我结合自己在 Ableton 中设计的立体声子分层使用了大量的 Ambisonics 录音和环绕声录音（四声道或 5.1 声道）。比如，金字塔里的电梯就使用了 Ambisonics 录音，最终也获得了非常好的效果。 

6. 为了逼真地呈现音量及其他环境因素的变化，一般都会应用衰减。能不能说说在体验当中如何巧妙运用基于距离的衰减的？怎么根据玩家相对于声音的距离做处理的？

Clay Schmitt：为了确保衰减真实可靠，我们做了大量的工作。比如，NPC 的呱噪声就是如此。对此，我们基于测试关卡做了验证。Thom 也对自己期望的衰减方式给出了建设性的意见。在需要贴近现实的地方，我们使用了 Wwise Convolution Reverb 和 Wwise Reflect 等引擎内置工具。在设置这些相对逼真的衰减后，我们可以获得一个明确的基线。在此基础上，再根据需要构建更夸张、更酷炫的衰减和混响尾音。比方说，我可以使用老式硬件设备（如 Roland RE-201 Space Echo、MXR Pitch Transposer 和 Lexicon M300 Reverb）处理分轨，然后使用 Wwise Convolution Reverb 和 Wwise Reflect 做分层叠加。各位可以在 CRT Room 的出入口走廊和金字塔内大牛头怪的脚步声中听到这种效果。

7. 您提到，衍射技术的使用在很大程度上决定了音乐所传达的抽象程度。具体怎么运用这种技术的？背后经历了怎样的思考过程？

Braeger Moore：

我们最终选用的音乐衍射模式基于以下两个设想：
1. 我们希望在主房间里听到完整的音乐。
2. 在离开或进入房间时，要做得更加逼真，但要能灵活控制。

我们在混音和实现方面做的几乎所有决定都是围绕这些设想展开的。我们一直在想怎么才能构建自己真正想要的动态音频环境，确保其在房间体验当中逐渐增强，然后再慢慢减弱，让玩家在欣赏令人惊叹的画面和氛围的同时还有回味的空间。

8. 人声在音乐中往往扮演着双重角色。它既是交流的媒介，也是对声音的提炼，在《Kid A Mnesia》中更是如此。有没有为了确保人声在混音中得到充分体现做点什么？

Clay Schmitt：整个体验当中的音乐都是由 Nigel 在 20 年前精心混制的。在为发声体设置分轨时候，我们首先得确保自己的实现不会影响混音平衡。在体验当中，Nigel 的原始混音会基于玩家的操作自动调整。不过，还是有一定的创作空间的。比如，在 CRT Room 中，Thom 的声音是从电话亭的听筒中发出的。为了增强这种效果，我们使用了真实的电话听筒重录了他说话的声音，并做了进一步的滤波和失真处理来让其听起来比较刺耳一点。

9. 能不能详细说说在整个过程中怎么巧妙运用 Ambisonics 分层的？分轨是如何创建的？设计的意图是什么？

Clay Schmitt：当然。开阔的森林场景中就使用了 Ambisonics 分层。我在场景中加入了一些微妙的风声、轻柔的沙沙声、远处偶尔传来的树枝折断声以及 Thom 精心收集的各种鸟叫声。我对做出来的效果很满意，但总觉得好像还差点什么。最终，我决定再加点轻柔的树枝摇曳声。另外，因为玩家能使用杜比全景声输出，所以我可以充分运用顶置声道！事实上每次出门的时候，我都会带着自己的 Tascam DR-100 手持立体声录音机。有次去俄亥俄探亲，我就专门走到院子里录制了橡树枝摇晃的声音！然后，我用 Waves B360 Ambisonics Encoder 对录音进行了处理，这样使用杜比全景声的玩家就能听到上方树枝沙沙作响的声音。

10. 在画册和互动之外，还加入了脚步声。怎么保证脚步声不会影响音乐效果呢？

Clay Schmitt：在项目初期，要不要加入脚步声还是个问题。我们主要担心会分散玩家对音乐的注意力。不过，处理得当的话确实可以增强沉浸感，对较安静的间隙空间来说更是如此。Braeger 已经为特色房间建好了一套闪避系统，这样在过渡到音乐占主导的空间时，房间底噪、环境声和各个子分层便会平滑地淡出。将脚步声输出发送到闪避总线很容易，最终我也获得了自己想要的听觉效果！

11. 怎么利用 Wwise Reflect 增强音乐效果？

Braeger Moore：Wwise Reflect 算是锦上添花的一项功能。我们一般很少使用，但它可以帮助我们获得自己想要的真实感，同时又不会影响音乐的冲击力和保真度。不过，我们并没有用 Reflect 做了什么特别极端化的处理。这就需要我们在前期设法求得平衡，后面再通过混音来做针对性的处理。

12. 能不能详细说说 Nigel Godrich 在整个开发当中都做了哪些贡献？

Matthew Davis：毫无疑问，所有这一切都离不开 Nigel。他从一开始就清楚且坚定地向我们阐释了相应的音频概念，并在深入了解 Wwise 和 Unreal 后对具体实现方法做了调整。他对原有专辑进行了梳理并做了 6 声道环绕声混音，然后做了一些混搭以便我们将其放在不同的空间中。对于间隙空间、走廊之类的地方，声音会从一个房间传到另一房间。我们反复讨论了要应用多少空间化、反射、混响，以免破坏原始音频的完整性。为此，我们在开发当中做了大量的工作。既要让玩家置身于沉浸环境中，又要确保时刻清晰地呈现配乐。这当中多亏了 Nigel、Thom 和 Dan 的鼎力协助，要不我们这些外行可没办法把项目做这么好。结果挺好，我很满意。