玩家有话说:电子游戏音乐必须是自适应的

游戏音频 / 互动音乐 / VR 体验

电子游戏音乐本身就与线性媒体有所不同。另外,线性和非线性音乐的作曲要求也很不一样。在霍华德·肖 (Howard Shore) 为《魔戒》系列电影创作配乐时,他事先知道哪些角色会在银幕上出现 20 秒或 20 分钟,因此可以将主乐调结合在一起并适当地裁剪音乐,以便衬托圣盔谷之战中的激烈战况或霍比特人在夏尔悠闲抽烟的和平景象。

电子游戏作曲家可就没那么幸运了。除了过场动画,他们完全无法掌控玩家下一步要做什么或在游戏中会有怎样的体验。然而,使音乐与叙事协调一致恰恰是电子游戏设计中主要运用的一种手法。说到底,电子游戏音乐的整个发展过程可以被看作是对作曲手法和音频工具的不断探索,以期像电影一样以独特的方式为画面和叙事量身打造引人入胜的音乐体验。为了实现这一点,必须确保音乐能够适应玩法的变化。同时,随着自适应音乐制作手法的不断完善,对各种作曲和制作参数(如音高、形式和效果器)的调节也越来越细致。

作曲家深知,为了提升玩家体验,电子游戏音乐必须是自适应的。这一法则既是源自对电子游戏制作的深刻理解,同时其背后还有着坚实的理论依据。我们可以把电子游戏看作以下各种元素的有机结合:画面、叙事、互动和音频(见下图)。在各种元素协调一致时,它们会相互加强,进而提升游戏体验。

Picture1
电子游戏可被视为一个包含各种元素的系统,它们会相互影响,进而产生不同的游戏体验

为了使音乐与其他游戏元素协调一致,我们必须使用某种形式的自适应音乐。虽然听起来似乎就该如此,但目前却没有多少量化研究为此提供依据。而且,也很少有基于数据的实证研究从宏观角度出发来分析音乐和玩家之间的关系。

 

在本文接下来的部分,我将给大家分享 Melodrive 在量化研究方面取得的一些成果。其中包括围绕玩家和 VR 用户展开的几项调查,以及对一项心理实验的相关探讨。通过这些调查,我们了解到了玩家对非线性内容中音乐的期许和认识。对于心理实验,我们重点考察了自适应音乐(以 AI 生成的实时音乐为例)会对玩家融入感产生怎样的影响。

玩家对音乐的认识

我们展开了几项调查,以此了解电子游戏玩家和 VR 用户对非线性媒体中音乐的看法。确切地说,我们是想澄清以下问题:

  • 音乐对玩家到底有多重要?
  • 玩家了不了解自适应音乐?他们对其关心程度如何?
  • 玩家对目前的音乐解决方案是否满意?
  • 玩家希望音乐为他们带来怎样的体验?

为了回答这些问题,我们针对如下不同人群展开了调查:VR/AR 用户和传统电子游戏玩家、Roblox 用户、High Fidelity 用户以及 VRChat 用户。这些调查以社交版块和 Facebook 群为媒介围绕上述人群展开。最终有 179 位玩家填写了问卷。在收到反馈后,我们对结果进行了整理。下面来看下由此得出的数据。

玩家对音乐的看法

玩家认为音乐是游戏体验的一个重要构成元素。超过 80% 的人认为音乐可以给游戏体验带来很大帮助。另外,玩家不仅知道互动内容中会使用各种不同的音乐制作手法,而且对某种手法是否有效有着明确的看法。大约 50% 的被调查对象反映循环音乐令人心烦。甚至还有些人在调查的公开评论版块重申:与其听着一成不变的循环,他们宁愿直接关掉音乐。而且,令人感到惊讶的是,居然有将近 75% 的游戏玩家和 VR/AR 用户对自适应音乐这一概念相当熟悉。他们甚至能够辨别各种基本的自适应音乐制作手法 – 估计是根据自己在游戏当中对动态配乐的体验来判断的。

Picture2


玩家对自适应音乐的看法

玩家对其在互动体验中期待的音乐的作用和类型同样有着明确的看法。超过 60% 的被调查对象认为自适应音乐对提升互动内容的体验来说非常重要。这一数字在游戏玩家和 VR/AR 用户人群中的表现增大到了将近 80%。绝大多数人 (>80%) 认为,使音乐与其他游戏元素(如画面和叙事)协调一致非常重要。这一数据同样表明玩家不仅知道什么是自适应音乐,而且还对非线性情境下音乐的动态要求有着直观的理解。不出所料,玩家的看法跟游戏音乐从业者是一致的。他们也认为电子游戏中的音乐应该与其他游戏元素协调一致,因而必须是自适应的。除了受过专业训练的人的观点,其他人对此是否会有别的看法呢?在稍后的段落中,我们会得出答案。到时,我们会具体分析心理实验得出的数据。

Picture3

玩家对目前音乐解决方案的看法

通过研究我们发现,玩家觉得大部分游戏体验都没有达到自己对音乐的期许。对新兴游戏平台和社交体验(如 Roblox、High Fidelity 和 VRChat)来说更是如此,其中只有不到 25% 的用户对目前的音乐解决方案感到满意。这一数据对传统游戏玩家和 VR/AR 用户来说稍微乐观一些,其中有大约 45% 的被调查对象认为他们体验到的音乐一般来说还算不错。新兴平台和传统游戏之间的差异可以用以下事实来解释:对于后一种情况,音乐制作手法经过了长期的完善,能够做到从整体上为玩家提供更好的体验。不过,这一数字仍是相当值得深思的,因为它基本上表明玩家在电子游戏中的音乐体验以及 VR 体验仍有很大提升空间。通过将这一发现与调查中得出的所有其他数据点进行对比,我们不难推断,玩家是希望音乐能跟其他游戏元素更加协调一些的。

 

Picture4

玩家参与音乐定制和制作

被调查对象对积极参与音乐定制和制作流程表现出浓厚的兴趣。确切地说,超过 60% 的人表示他们希望为玩家角色及其在沙盒环境下构建的内容定制独特的音乐。Valve 便是其中一家最先意识到这一趋势的公司,并据此为《Counter-Strike》制作了各种音乐包。玩家可以到游戏商城购买并下载不同风格的提示音乐。这些乐曲可以帮助玩家定制其在游戏中的音乐体验。虽然这些音乐包并不能为玩家提供独特的音乐,但是它们可以实现很大程度的定制自由。

通过研究中得出的另一数字,我们可以更加明显地看出音乐定制的重要性。将近 75% 的被调查对象表示他们希望为其体验到的互动内容定制音乐,当然前提是要容易实现。每位玩家都有这样一种根深蒂固的需求:他们希望在电子游戏中通过音乐来展现自我。不过,有人可能要说了,电子游戏中目前并没有足够稳健的技术解决方案,来支持玩家(多半都是只有很少或根本没有音乐技能的人)定制复杂的音乐。为了做到这一点,我们需要直接在电子游戏中集成尖端的 AI 音乐生成系统。关于这一调查结果,值得注意的是,虽说被调查对象从来没有尝试过这种技术,但是他们仍然认为音乐定制是提升游戏体验的一种很重要的潜在方式。

 


Picture5

通过这些研究,我们了解到了玩家对音乐的种种看法。比如,大部分玩家对电子游戏音乐的作用其实是非常熟悉的。而且,他们希望互动内容中的音乐能够跟画面和叙事体验有机地结合在一起。不过,很多人对目前非线性内容中的音乐并不十分满意。同时,玩家希望能参与打造他们所体验内容的音乐环境。

既然我们已经了解了玩家对音乐的认识,那么接下来理所应当要更进一步:分析电子游戏音乐会对玩家产生怎样的心理影响。为此,我们专门做了一项心理实验。

玩家对电子游戏音乐的感受

在 Melodrive,我们一直在努力构建可以实时地自主生成音乐的 AI 音乐引擎。AI 所生成的音乐会以自适应方式实时变换其情绪状态,以便与电子游戏场景的情感氛围协调一致。关于这一技术开发背后的理论依据,我们在本文开头已经说到:音乐与其他游戏元素的协调度越高,玩家的融入感就会越强。按照这一法则,我们可以断言:在电子游戏情境下,人工创作的自适应音乐肯定能为玩家带来比线性音乐更强的融入感。由此推断,基于游戏作曲家奥利维尔·德里维耶 (Olivier Deriviere) 提出的 Hybrid 互动音乐 (HIM) 理念,我们可以结合运用预先录制的分轨和实时合成系统来构建一个高度自适应的音乐环境,甚至可以带来比传统自适应音乐更强的融入感。同样,按照“协调度越高,融入感越强”这一法则,我们可以断定:因为 AI 生成的音乐(Melodrive 方面称之为深度自适应音乐 (DAM))会根据游戏参数实时做出情绪调节,所以它有可能可以比 HIM 更好地增强玩家的融入感。

与其费劲论证这一不对等关系链(在理论上说得通,但不好着手加以验证),我们选择了把精力放在更轻松的任务上:证明音乐对玩家融入感的影响。对此,我们研究了前文所述在自适应性方面分列两极的两种音乐类型。然后,我们设计了一项心理实验,来考察玩家对线性音乐的融入感及其在简单 VR 体验中对 DAM 的融入感。同时,还另外设置了一种控制状态:不在 VR 场景中播放音乐。

实验假设

为了估量融入感的强弱,我们考察了两项可测参数:参与者在体验中投入的时间(体验时长)和感受到的沉浸程度。根据前文所述法则,我们得出了以下几点推理假设:

  • 音乐的出现会提升 VR 体验中感受到的沉浸程度。
  • 与线性音乐相比,DAM 更能提升沉浸程度。
  • 音乐的出现会延长 VR 体验中投入的时间。
  • 与线性音乐相比,DAM 更能延长 VR 体验中投入的时间。
  • 与线性音乐相比,DAM 更能满足 VR 场景的需要。

实验设计

为了检验前面所做的假设,我们设计了一个简单的 VR 场景。该场景由一个设有两个房间的空间站构成,房间之间通过走廊连通。第一个房间(蓝色房间)比较平和安宁,第二个房间(红色房间)较为焦躁骚动。我们针对两个房间中的对象分别使用了不同的灯光和活跃水平,以此来调节房间的情绪氛围(平和与愤怒)。

我们设定了三种实验情形。参与者可以探索没有音乐、有线性音乐或有 DAM VR 场景。对于有 DAM 的场景,音乐将由 Melodrive 引擎实时生成。对于有线性音乐的场景,我们录制了 Melodrive 在单一情绪状态下生成的三分钟左右的音乐。在实验期间,线性音乐会在 VR 场景中循环播放。所用音乐的风格是融合了电子乐元素的氛围类音乐。我们来看看下表,对三种情形做下对比。

 

没有音乐
    有线性音乐
  有 DAM
简单的 VR 空间站场景
    同样的 VR 场景
    同样的 VR 场景
两个房间由走廊连通
    固定不变的循环音乐
    同样的声音设计
场景中没有互动对象
 
    由 Melodrive 实时生成的 DAM
 
 
    每个房间具有不同的情绪氛围
 
 
    每个房间中的音乐都会随着情绪氛围调整

 

共有 46 个人参与了这项实验。我们没有告诉他们实验具体要考察什么,以免其在实验之前产生先入之见。每个参与者只能选择体验其中一种情形,并被告知想在场景中探索多长时间都可以。我们将体验时长作为对融入感的综合衡量因素进行了考察。一旦结束 VR 场景探索,参与者马上就要填写问卷。我们会据此判定其感受到的沉浸程度。该问卷中包含了心理调查中经常用到的各种标准问题,目的在于估量参与者感受到的沉浸程度。

实验结果

实验结果证明,我们最初提出的假设是对的。顺便说一句,我接下来要探讨的所有结果从统计学上来说都是相当显著的 (p < 0.05)。DAM 对沉浸程度的影响极大。确切地说,跟没有音乐的情形相比,DAM 将沉浸程度提升了 30%;与有线性音乐的情形相比,则提升了 25%

Picture6

参与者在三种实验情形下感受到的沉浸程度

DAM 对体验时长的影响甚至更为显著。与没有音乐的情形相比,DAM 将参与者在 VR 场景中投入的时间延长了 42%;与有线性音乐的情形相比,则延长了 27%

Picture7

参与者在三种实验情形下在 VR 场景中投入的时间

90% 的人一致认为音乐对提升他们感受到的沉浸程度来说非常重要。以上数据表明 DAM 对沉浸感的影响显然比线性音乐更大。另外,我们还发现,与线性音乐相比,DAM 可以将音乐与 VR 场景的协调度提升 49%

作为一名作曲家和游戏玩家,我本人相当确信音乐作为一种有效的媒介,不仅可以传达细微的情绪线索,而且会对融入感产生重大影响。不过,实验结果最引人注目的一点并不在于音乐作为一个整体所拥有的巨大影响。而是说,线性音乐和 DAM 之间产生的影响存在很大差异。当然,我们预料到了 DAM 会对沉浸程度和体验时长产生更强的影响。但是,却没想到差异居然会有这么明显。这一结果表明深度自适应性的确会对融入感产生很大影响。换句话说,假如只是随便配上某种类型的音乐,并不一定就会对玩家的融入感产生显著影响,必须选用合适类型的音乐才行,比如与其他游戏元素紧密协调的音乐。同时,这也是对前文所述“协调度与融入感”法则有力的实验证明。

我们已经在有关数字音乐的国际研讨会上公布了这项研究的初步结果。如需了解该实验的更多详细信息,请查看相关会议记录(我们的研究报告附在第 8 页)。

结语

尽管学术界和从业者展开了大量有关电子游戏音乐的研究,我们目前对玩家和音乐之间关系的了解依然相当有限。通过了解玩家对游戏音乐的期许,我们可以明确设计方向并藉此打造更好的音乐体验,进而增强玩家的融入感

鉴于前文所述研究中得出的各项结果,我们对玩家和音乐之间的关系有了以下三点认识。第一,玩家相当了解电子游戏音乐,而且对目前的音乐解决方案并不十分满意。第二,高度自适应音乐能够显著增强玩家的融入感。第三,玩家非常乐意参与音乐的制作和定制。通过努力满足用户的这些需求,作曲家和音频总监等从业人员可以借此大好机会创造新的营收模式,比如针对音乐提供相应的 DLC 内容。

这些研究的主要目的在于证明音乐在电子游戏中发挥着至关重要的作用。在我们这个相对较小的圈子之外,可能很多人对这一点并不十分明白。我跟来自各级开发商(从小型独立制作团队到 AAA 级开发商)的游戏开发人员都进行过大量交流,有很多人觉得音乐对他们的游戏来说最多只是一个锦上添花的功能,所以只有在后期才会加以考虑。对于其中有些人来说,配上线性音乐,再稍微交叉淡变一下就行了。他们根本没有意识到这对增强玩家的沉浸感来说有多么重要。对此,我们有必要纠正他们的错误看法,借助引人入胜的叙事来解释为何自适应音乐是增强玩家融入感的关键要素。

假如有一天你在这种论辩中陷入僵局,希望以上量化研究成果能够帮助你说服对方,最终大家齐心协力来努力提升玩家的游戏体验。

Valerio Velardo 博士

联合创始人兼 CEO

Melodrive

Valerio Velardo 博士

联合创始人兼 CEO

Melodrive

瓦莱里奥·维拉杜 (Valerio Velardo) 是 Melodrive 的联合创始人兼 CEO。这家初创公司致力于通过其开发的 AI 作曲程序来提升互动体验。瓦莱里奥拥有音乐和 AI 双博士学位。在过去十年里,他一直在训练计算机学习如何自主地创作音乐。同时,他还是一名作曲家、乐队指挥、钢琴家和天体物理学家。在事业初期,他曾担任过现代音乐乐团指挥、音乐会钢琴家以及作曲家。

valeriovelardo.com

 @musikalkemist

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

我如何在 12 天内运用 Wwise 和 Unity 完成互动拟音设计

每次单击鼠标都会生成具有不同外形、姿态和构成的行走角色,这对拟音师来说既是求之不得的机会又是困难重重的挑战。 不管怎么说,接了活总得做。之前,本杰明·维德恩 (Benjamin Vedrenne)...

9.12.2019 - 作者:皮埃尔·玛丽·布莱恩德(Pierre-Marie Blind)

EBP管线概述

EBP是什么? 前不久Wwise 2019.2版本的UE4 Integration推出了一条新的管线,叫做Event-Based...

10.12.2020 - 作者:范润鹏

《FINAL FANTASY VII REMAKE》背后的声音设计

《FINAL FANTASY VII》的音乐受到很多人的喜爱,多年后推出的重制版再度赢得新生代粉丝的青睐。最近,我们有幸与 Square Enix 音频团队进行了广泛深入的交流,探讨了《FINAL...

18.5.2021 - 作者:SQUARE ENIX

利用 Wwise 设计基于循环的汽车发动机声音 | 第 2 部分

欢迎继续阅读本系列博文,了解如何在 Wwise 中配置和设计基于循环的汽车发动机声音。在第 1...

22.2.2022 - 作者:阿托•科伊维斯托 (Arto Koivisto)

《Scars Above》中的 Wwise Spatial Audio 实现流程

这篇文章是关于什么的?何为 Spatial Audio API?Spatial Audio API 工作流程Room 和 Portal素材组织和命名规范命名规范Wwise 对象组织Unreal...

12.6.2024 - 作者:Milan Antić

Sound Haven Highway | Step Up Your Sound Game Jam

本文是在第二届 Step Up Your Sound Game Jam 之后撰写的。在这次一年一度的 Android 手游 Game Jam 上,参赛团队要结合 Wwise 使用 Dolby...

24.7.2024 - 作者:Petricore

更多文章

我如何在 12 天内运用 Wwise 和 Unity 完成互动拟音设计

每次单击鼠标都会生成具有不同外形、姿态和构成的行走角色,这对拟音师来说既是求之不得的机会又是困难重重的挑战。 不管怎么说,接了活总得做。之前,本杰明·维德恩 (Benjamin Vedrenne)...

EBP管线概述

EBP是什么? 前不久Wwise 2019.2版本的UE4 Integration推出了一条新的管线,叫做Event-Based...

《FINAL FANTASY VII REMAKE》背后的声音设计

《FINAL FANTASY VII》的音乐受到很多人的喜爱,多年后推出的重制版再度赢得新生代粉丝的青睐。最近,我们有幸与 Square Enix 音频团队进行了广泛深入的交流,探讨了《FINAL...