浅谈如何在 Wwise 中轻松地利用音乐来驱动动画

互动音乐

Wwise 2019.1 版本增添了“Music Cue”功能,允许在 Music Segment 中触发 Wwise Event,以便在互动音乐时间线的特定时间点发送 Event。这样就可以轻松地利用音乐来驱动动画。接下来,我以一个名为 cbx2 的 Unity/Wwise 工程为例具体展示一下。

tile07lp

该工程基于我很久以前承接的一个为照片显示软件制作音乐的项目。这个软件里有一个背景环境声音轨和十个伴随照片滚动播放的循环主题。事先设置的同步器会随时触发拼贴图动画,同时生成有趣的复合节奏和和声,以此来制造意想不到的小惊喜。

cbx2

在这个项目完成后,我的备份磁盘上还存着原始的 MIDI 数据,所以我在 ProTools 中对音频文件进行了重新加工,并将其加载到了 Wwise 的 Interactive Music 系统中。

然后,我根据乐句的节奏在 Music Segment 中的各个时间点添加了 "set_anim_next_frame" Event 作为音乐提示。该 Event 的作用只是将 "anim_next_frame" RTPC 设为 1。在 Unity 中,会在 Update 循环中读取该 RTPC(每帧一次)。在其发生变化时,就会触发下一帧动画,并将 RTPC 标记重置为 0。 

cbx2_updateLoop

要利用音乐驱动动画,基本上就这么简单!

注意:显然,我并不是一名动画设计师。上文实现的功能只是简单地让平面图像“向右移动和旋转”。我自己并不具备制作交互 3D 游戏界面所需的高深图形技能。不过想象一下,换作优秀的动画设计师,应该可以利用这种技术跟作曲家合作开发出“画面跟随音乐”这样的功能(而非像平时所看的电影那样“让音乐跟随画面”)。

通过使用关键帧和其他一些手法,音乐提示可以实现各种动画效果:

  • 角色跳起与当前播放的关卡音乐同步的复杂的胜利舞蹈。
  • 忍者的打斗动作与音乐的速度始终保持一致。
  • 由互动的配乐驱动而生成有趣的艺术作品。
  • 场景的情感氛围在伴奏音乐变换音色时随之转换。
  • 迷宫的路线每十二小节改变一次。
  • 使用不同类型的音乐提示单独控制身体各个部位的姿态。
  • 一队袋鼠和企鹅随着音乐欢快地跳起踢踏舞。
  • 利用卡尔·斯托林 (Carl Stalling) 式的音乐主题控制卡通人物的动作节奏。
  • 等等……

对我来说,这种创作手法最有意思的地方在于动画的节奏完全由作曲家掌控。如此一来,就可像互动角色设计中常做的那样,让画面从一个关键帧移动到下一关键帧,只不过是通过音乐来设定动画时机,而不是反过来根据动画决定何时播放音乐。

不过,这种创作手法的确需要作曲家在 Music Segment 中手动输入音乐提示,而不是依靠 DSP 算法来自动确定拍子、速度这些东西。这对较长的复杂乐曲来说可能会有些单调重复,但是您可以复制粘贴音乐提示,并通过 Music Segment 的快速剪辑网格在合适的节奏点设置标记。

就像布莱恩·施密特 (Brian Schmidt) 说的那样,“艺术不是批量加工”。所以,在设置音乐提示时做一些看似枯燥乏味的工作并不见得是坏事,而且日后没准儿能派上大用场(这在很多音频创作中并不稀奇)。不过这种详细的标记方式有一点特别好,就是动画序列会始终跟音乐协调一致,即便音乐变换了,也不需要重新设定时机、重新剪辑或重新录制。

如需了解更多详细信息或想将这种创作手法应用到将来的游戏或互动音乐体验中,不妨转到以下页面来下载 Unity/Wwise 工程并观看实际演示视频


www.twittering.com/demo/cbx2


- pdx

彼得·德雷舍 (Peter "pdx" Drescher)

彼得·德雷舍 (Peter "pdx" Drescher)

彼得·德雷舍 (Peter "pdx" Drescher) 多年以来一直从事游戏和移动应用的音频制作、代码编写和功能整合工作。他是一位才华出众的声音设计师、颇有造诣的音乐家/作曲家、发文无数的期刊作者、经验丰富的程序员和技能娴熟的音频工程师。他在旧金山湾区拥有一间 ProTools 数字音频制作工作室 – Twittering Machine。

评论

HAN ZHANG

November 26, 2024 at 10:49 pm

Event Actions cannot modify them now.

留下回复

您的电子邮件地址将不会被公布。

更多文章

《Yonder: The Cloud Catcher Chronicles》- 音频系列日志 - 第一篇:充满风险的开端

《Yonder: The Cloud Catcher Chronicles》于 2016 年底在 Sony PSX 展会上发布。它是一款由澳大利亚 Prideful Sloth...

15.5.2018 - 作者:史蒂芬·舒茨(STEPHAN SCHÜTZE)

观后感 | Audiokinetic互动音乐沙龙

接到侯老师约稿来聊一下参加互动音乐沙龙后有什么感想时,这件事已经大概过去三周半了。 ...

18.8.2021 - 作者:虞鹏

为何要选用 Wwise 来打造 3D 互动音乐体验

Dirty Laundry by Blake Ruby 移动 VR 应用:音频设计详解。

26.10.2021 - 作者:朱利安•梅西纳 (Julian Messina)

《Divinuet》的互动音乐系统 – 第 3 部分

大家好,第三篇博文出炉了!可能有些读者没看过之前的两篇博文,也没参与与此相关的 Wwise Up...

16.3.2022 - 作者:梅根·卡恩斯 (Megan Carnes)

无尽的残骸

这篇博文是关于65daysofstatic的《Wreckage Systems》(残骸系统)。《Wreckage...

13.7.2022 - 作者:保罗-沃林斯基(Paul Wolinski)

作曲家如何使用控制器创作互动音乐

在互动音乐研讨会上,雷莎•施沃德 (Ressa Schwarzwald)...

2.9.2022 - 作者:雷莎•施沃德 (Ressa Schwarzwald)

更多文章

《Yonder: The Cloud Catcher Chronicles》- 音频系列日志 - 第一篇:充满风险的开端

《Yonder: The Cloud Catcher Chronicles》于 2016 年底在 Sony PSX 展会上发布。它是一款由澳大利亚 Prideful Sloth...

观后感 | Audiokinetic互动音乐沙龙

接到侯老师约稿来聊一下参加互动音乐沙龙后有什么感想时,这件事已经大概过去三周半了。 ...

为何要选用 Wwise 来打造 3D 互动音乐体验

Dirty Laundry by Blake Ruby 移动 VR 应用:音频设计详解。