声音设计手法可大致分为线性和互动两种。就应用领域来说,它们分别对应影视和游戏。随着技术的发展,近年还出现了像 XR 这样的新型应用。对此,我们可以综合运用这两种手法来打造沉浸声景。作为一名线性媒体从业者,互动音频的学习对我来说是件非常考验耐心和毅力的事情(到现在也是如此)。不过,能将原有经验和习得知识结合起来探寻全新的叙事方式确实给了我极大的优势,同时也让我对自己日复一日的工作更加充满热情。自我介绍一下,我叫大卫·格林巴姆,目前在 Chapter Four 担任后期制作总监(公司位于纽约,致力于提供全方位的沉浸和互动内容制作服务)。我最初做的是线性媒体,后来才接触到互动音频。
从传统影视到全景视频制作
几年前,我有过学习游戏音频的机会,但刚开始的时候心里有些抵触。因为我一直以来的目标是制作大片,所以满脑子只想着一件事:影视声音的后期制作。在 2015 年,我当时的朋友也是现在的商业伙伴何塞·弗里亚斯 (José Frías) 跟我说,他最近在使用 Ambisonics 制作一些全景视频,然后问我有没有兴趣在后期制作中对相关录音进行处理。经过一番调查,我发现 Two Big Ears 的 Spatial Workstation(也就是现在的 Facebook 360 Spatial Workstation)比较符合我们的要求,于是便以此为基础开始了对空间音频的探索。在跟另外两个朋友 – 莎拉·吉布尔·拉斯卡 (Sarah Gibble-Laska) 和卡里姆·杜阿迪 (Karim Douaidy) – 交流之后,我们决定合伙成立 Chapter Four,专门从事空间音频制作。我们确信有了声音这件秘密武器,一定能为观众提供更加逼真的沉浸体验。当时,大家就跟找到了神奇的圣杯一样欣喜不已。从传统影视转型做全景视频其实相当简单。因为其本质上还是线性的,所以只需将音频空间化即可。有点类似环绕声处理,只是效果更加震撼。在第一年的时候,我们就制作了好几部非常精彩的全景视频,其中包括 Circle of Life(百老汇歌舞剧 The Lion King 的开场秀)和 The White Helmets(Vice 和 Samsung 在叙利亚合作拍摄的纪录片)。
发现游戏音频新大陆
不久之后,我有幸结识了 Dolby Atmos VR 团队,并试用了 Beta 版 Dolby Atmos for VR 套装。在他们的建议之下,我在 2017 年第一次参加了 GDC 大会,由此发现了电子游戏与游戏音频这块新大陆。现在回想起来,都还激动难抑!在会场上,我认识了一些来自 Audiokinetic 还有 Vibe Avenue 的同行。他们非常友善,很耐心地跟我讲解了游戏音频的基础知识。作为一名线性媒体从业者,我对此产生了极大的兴趣。在之前的工作中,我都是将事件关联到时间线。现在,我可以把声音和物理属性关联到对象,来控制其在虚拟世界中的行为。简直太不可思议了!
回到纽约之后,我便参加了 Wwise 101 认证,开始系统地学习 Wwise 知识。在 2018 年的 GDC 大会上,我再次来到了 Audiokinetic 展位,见识到了更多的 VR 应用。虽然入坑有些晚,但我最终意识到,接下来一定要好好学习游戏音频技术。当然,这其中肯定有很多功课要做。值得庆幸的是,游戏音频社区的各位都非常友好。对此,我感到十分欣慰。因为,完全不用担心需要的时候找不到人帮忙。等到再次回到纽约,我完成了 Wwise 101 认证。过了几个月,我参加了 Wwise 201 认证,接着又参加了 Wwise 301 认证。
我热爱声音。我喜欢打造声景并把构想变为现实。只是没想到现在的技术竟然如此强悍,可以给声音设计师提供那么大的帮助。Wwise 和互动音频为我开启了一个充满可能性的全新世界。在这里,我可以尽情发挥自己的声音设计创意,利用声音创作制造全新媒介和体验。当然,为此肯定要转变思维并付出很大努力。互动音频有一点特别好,就是它既具有科学性又富有创造性。不过可能也正是因为这样,很多从事线性媒体创作的声音设计师才会犹豫要不要加入游戏音频行业。说实话,互动音频涉及的东西确实有点多。不过,这无疑也激发了我不少有关叙事的想法。对我来说,发现互动音频这块新大陆就像孩子去到迪士尼乐园一样,只不过这种乐趣只有声音设计师才能体会得到。
每次一小步,走出舒适区
对于原本从事影视行业的人,我想跟各位说,其实转型做游戏音频并没有想象中那么困难。作为一个拥有 IT 背景的人,我其实有一点小小的优势。尽管对面向对象的语言和编程不是很感冒,但这些概念我还是比较熟悉的。话虽如此,不过在开始的时候并不需要对编程有太多的了解。因为 Wwise Integration 已经提供了一些预制函数,我们可以轻松地将声音集成到所用游戏引擎中。有些东西学起来有可能会比较难,因为 DAW 方面的知识在互动音频设计中大部分都用不上(除了准备分轨)。不过,我觉得这样做还是非常值得的。再说,没有付出哪来的回报对吧。
对我来说,这是一个全新的开始。当然,也意味着更多的挑战。不过接触互动音频以后,我发现自己对声音设计更加充满了热情。形象点说,就跟小孩拿到新玩具一样。每次最终弄明白如何让对象发出声音、让引擎使用 RTPC 值、让 SoundBank 被识别出来,我都像听到了《塞尔达传说》解谜成功的音乐一样喜不自禁(所有这些对有的人来说可能很容易,但对我来说却是不小的挑战)。
对于原本从事线性媒体、想要学习游戏音频而又不知从哪开始的人,这里有一些要点可以帮助您快速入门。当然,下面总结得肯定不够全面,因为我自己也还在探索新的工具和技术。不过没有关系,参考一下总是好的。
- 参加 Wwise 101 认证。刚开始可能会感觉有些不知所以,但把课程复习一遍便会慢慢理解背后的逻辑。虽然到最后并不足以完全掌握如何将声音对象整合到 Unity 或 Unreal 中,但至少能对引擎和 Wwise 之间的连通方式有一个更深的了解。
- 即便从来没接触过编程也无妨,网上有大量的免费教程(也有付费教程)。通过学习这些教程,可以对编程有一些基本的了解。就编程语言来说,个人觉得从 C# 入门最为合适。对于有关游戏引擎和编程的教程,我觉得 Brackeys 的 YouTube 频道就很不错。在此之前,建议先熟悉一下 C# 和至少一种引擎(Brackeys 用的是 Unity)。这样的话,除了互动音频还可以学到更多的东西。作为一名声音设计师,学会音频编程有很多好处。比如可以直接帮助游戏设计师解决一些小的问题,从而降低音频和游戏开发团队之间来回交流的成本。
- Wwise 201 认证主要针对互动音乐,在刚开始的时候不一定要学,但对稍后理解游戏音乐的工作机制来说很重要。无论是实现过渡还是生成随机提示以免音乐重复,这当中接触到的很多工具其实对其他一些效果也是适用的。
- Wwise 301 认证可能是完成 Wwise 101 认证之后最有必要学习的课程了。您当然可以自己琢磨怎么将 Wwise 集成到 Unity 中或触发事件,但若想系统地了解都有哪些实现方式并做到事半功倍,建议最好学习这门课程以在工作中养成良好的习惯。课程中不仅涵盖了如何使用 Wwise Integration 提供的各种预制函数,还讲解了怎样编写 C# 脚本来更加灵活地完成设计。
线性和互动项目之间的一些显著区别
对于原本从事影视行业的人,可能已经习惯于特定的技术规范和时间线设置。这些技术规范依据分发媒介进行了标准化(包括声道数量或响度要求等)。通常,画面一敲定就可以开工了(注意是“通常”)。在这种情况下,无需考虑要使用多少声音(只管实现自己的创意),也不必在意要在音轨上应用几个 DSP 插件(前提是电脑性能足够强劲)。最重要的是确保音频文件与视频长度一致、声道数量准确无误、相互之间完全同步。在文件大小方面,并没有什么限制。事实上文件大小是可以事先计算出来的,因为采样率、台词长度和声道数量都是已知的。
对电子游戏和互动媒体来说,情况略有不同。我们必须考虑这样或那样的限制,比如能分配多少 CPU 资源来处理声音,或者要预留多少空间给音频素材(即音频预算)。在使用 Wwise 进行创作的时候,既可选择实时进行有些 DSP 处理(占用更多 CPU),也可直接将其渲染到音频文件中(占用更多内存)。就如何降低所需内存而言,脚步声便是一个很好的例子:我们只需针对每种地面使用两个不同的脚步声文件,然后将播放时所要应用的音高随机化,就可获得无穷变化的脚步声,从而确保每次听起来都是不一样的。另外,我发现还有一个很大的区别,就是如何看待声像摆位。在 Wwise 中,有三种不同的声像摆位模式:2D、3D User-defined 和 3D Game-defined。简单来说,我们既可将声音事件关联到对象 (3D Game-defined),也可按照 2D 或 3D 形式在玩家周围对声音进行自动处理(适用于并非实际游戏对象的视觉对象或无需按照 3D 形式进行声像摆位的音乐和旁白)。
接下来要做的事情
我知道,要学的东西还有很多。不过既然意识到了互动音频和游戏引擎中蕴含着这么多的可能性,那么我就希望尽可能深入地加以探索。我之前提到过一点,就是互动叙事。这是电子游戏行业中一个广为人知的概念。我们可以在原有游戏机制的基础上利用这种叙事方式,来让玩家自由地选择要探索故事的哪个部分,以此获得与众不同的游戏体验。我不知道这究竟会对我的职业生涯产生怎样的影响。不过,我打算一如既往地从事影视行业,同时也希望能接到更多互动项目(电子游戏和沉浸媒体)。
评论