zerocrossing 为 Wwise 开发的 SpectralMultiEffect 插件

互动音频 / 声音设计

SpectralMultiEffect 是一款为 Wwise 开发的插件,旨在为声音设计师提供丰富的实验素材,以便尝试运用各种方式对音频实施变形,藉此增强音频内容和游戏之间的交互性。该插件有两项主要功能:利用各种效果器对音频信号进行修改;通过相应系统访问从音频数据本身获取的信息以便直接用在游戏中。

SpectralMultiEffect 允许采用多种方式对频谱进行处理以实现对信号的变换。开发者最多可联用三个效果器,并在运行时通过 Wwise RTPC 功能控制所有可用参数。藉此,不仅可以启用或禁用效果器,甚至还可在运行时加以切换。

我发现很多声音设计师都在想办法增强音频内容和游戏之间的交互性。为此,我们专门构建了这款插件,方便大家从音频信号获取数据,以直接影响或控制游戏的行为。在播放过程中,开发者可将从音频信号获取的时域或频域数据提供给应用程序来满足各种需求。藉此,在游戏和音频内容之间建立紧密的联系。

开发者可使用所提供的一系列回调来以多种格式从音频实时获取数据。而且,还可将插件直接与声道或声音绑定,通过单独的插件实例及对应的回调构建多条数据流。

为游戏构建的音频插件一般都是为了解决某种常见的技术问题,但这并不妨碍我们把 SpectralMultiEffect 打造成一款突破创新的工具。这款插件可帮助开发者尝试运用各种方法来处理音频,以获得精妙的声音效果并为游戏打造欢畅的互动体验。

该插件提供以下功能:

1. 提供了 11 个不同的应用于频域的效果器,包括音高调节、多频段延迟和频谱冻结等。

2. 从时域或频域信号数据获取信息并发给应用程序,以此使音频和其他游戏元素之间的同步成为可能。

3. 在 Wwise 设计工具中监控应用程序,同时直观地呈现音频数据。

4. 使用预设来验证可能的音频变换,并在此基础上根据需要进行调节。

使用 SpectralMultiEffect

音频效果器

总共有三个插槽,可供联用效果器。在插件运行过程中,可随时选择并启用或禁用效果器。另外,还可在 -/+ 3 个八度的范围内实施音高偏移,同时确保不会对声音的时长产生影响。

effects
Wwise 设计工具中的效果器选择分区

当插件处于活跃状态时,传入的音频数据会被转换为频域信号。在这一层级实施处理之后,会重新转换为时域信号以供播放。

一旦选择了所要使用的效果器,便可利用 RTPC 系统来控制其参数。可用的参数有很多,但只需控制已启用的效果器中涉及的那些参数。

通过插件回调获取音频信号数据

开发者可通过用户定义的回调从音频信号获取所需数据。

选项包括峰值和 RMS(时域)以及频格和频段(频域)。相应数据可以在应用效果器处理之前或之后发送给用户。

从音频信号获取数据以供应用程序使用:

1. 在 Wwise 工程中创建效果器实例,同时指派唯一的名称标记以在运行时由应用程序识别。

Tag1
添加标记以识别插件实例

callbacks
ZcSpectralMultiEffectFXCallback.h 中的回调声明

2. 实现 Initialization、Termination 和 Execute 回调。这些回调可在 ZcSpectralMultiEffectFXCallback.h 文件中声明(此文件在插件安装期间会被复制到 Wwise 的 include 目录下,所以只需在源代码中添加表示要使用它的 #include 指令即可)。

Initialization 回调用于配置首选数据格式。为此,需填写传入的 ZcSpectralMultiEffectDataFormat 结构。

在播放过程中,Execute 回调会向应用程序提供按规定格式从信号获取的数据。同时,还会接收用户设置的识别标记以便管理多个插件实例。

Termination 回调负责告知特定插件实例的操作即将结束。在此,可执行与初始化期间采取的操作对应的清理工作。

在 Wwise 设计工具中监控应用程序

在 Wwise 设计工具中监控应用程序时,可在插件的 Effect Editor 窗口中直观地呈现信号数据。在此,可选择以时域或频域数据形式来进行监控(如下图所示)。

peak
Time Domain - Peak
rms
Time Domain - RMS
bins
Frequency Domain - Frequency Bins
bands
Frequency Domain - Frequency Bands

预设

该插件提供多种预设,可在设计工具内从 Effect Editor 窗口右下角的下拉菜单中选择。这些预设包含一系列开发者可能感兴趣的设置。可据此生成出厂预设或创建自己的预设,并像其他插件一样根据需要自由地使用。

支持的平台

SpectralMultiEffect 最初仅可在移动平台 (Android / iOS) 和桌面平台 (Mac / Windows) 上使用。不过,我在考虑扩大支持范围,将游戏主机也涵盖在内。如果想在自己项目的平台上使用 SpectralMultiEffect,请通过公司官网与我取得联系并告知详情。我会根据用户的意见来决定稍后要添加哪些平台。

Subscribe

音频样本

以下三组样本展示了 SpectralMultiEffect 的音频处理效果。

说话声文件

此文件的开头是未经处理的语音,后面结合运用了不同的 SpectralMultiEffect 效果器逐步进行变换。

钢琴声文件

第一个音频样本包含没有经过任何处理的原始信号。后续样本均使用 SpectralMultiEffect 进行了不同的处理。

铜锣声文件

第一个音频样本包含没有经过任何处理的原始信号。后续样本均使用 SpectralMultiEffect 进行了不同的处理。

 

哈维尔•阿西尼加斯 (Javier Arciniegas)

zerocrossing 首席执行官

zerocrossing

哈维尔•阿西尼加斯 (Javier Arciniegas)

zerocrossing 首席执行官

zerocrossing

在过去 16 年里,哈维尔•阿西尼加斯 (Javier Arciniegas) 一直在加拿大和日本从事游戏音频编程工作。阿西尼加斯拥有美国 Mills College 音乐创作和电子音乐与录音媒体双硕士学位。他目前在 zerocrossing Co., Ltd. (日本东京)担任首席执行官。该公司提供各类音频编程服务,包括声音引擎及插件开发、集成、定制等等。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

为你的游戏声景调音:声音设计背后的音乐理论

在 2017 年蒙特利尔国际游戏峰会 (MIGS17) 期间,Ubisoft 音频总监文森特·加格农 (Vincent Gagnon) 发表了题为 Music Theory for Sound...

16.10.2018 - 作者:Audiokinetic (音频动能)

游戏音乐不应仅仅局限于音乐本身 – 第 1 部分

什么是游戏音乐?什么是互动音乐?这些问题的答案并不像看起来那么简单。对此,奥利维尔·德里维耶 (Olivier Derivière)...

8.4.2021 - 作者:奥利维尔·德里维耶 (OLIVIER DERIVIÈRE)

Impacter 插件简介

概述 Impacter 是在原有 SoundSeed Impact...

30.6.2021 - 作者:瑞恩•多恩 (Ryan Done)

使用Wwise制作拟真且泛用的多普勒效应

前言...

11.8.2021 - 作者:徐巍

互动音乐:根据玩家在游戏中所做的选择播放不同的乐段

在 2018 年众筹成功之后,inXile Entertainment 开始全力制作《Wasteland 3》。尽管上一款游戏《Bard's Tale IV》的配乐赢得了一致好评,布莱恩•法戈...

1.12.2021 - 作者:亚历山大•布兰登 (Alexander Brandon)

利用 Wwise 为游戏制作母带 | 第 2 部分:Mastering Suite 预设及其用法

在本系列博文的第 1 部分,我们介绍了如何为游戏制作母带。在本部分,我们将探讨如何以及何时使用 Mastering Suite...

4.6.2024 - 作者:Loïc Couthier & Danjeli Schembri

更多文章

为你的游戏声景调音:声音设计背后的音乐理论

在 2017 年蒙特利尔国际游戏峰会 (MIGS17) 期间,Ubisoft 音频总监文森特·加格农 (Vincent Gagnon) 发表了题为 Music Theory for Sound...

游戏音乐不应仅仅局限于音乐本身 – 第 1 部分

什么是游戏音乐?什么是互动音乐?这些问题的答案并不像看起来那么简单。对此,奥利维尔·德里维耶 (Olivier Derivière)...

Impacter 插件简介

概述 Impacter 是在原有 SoundSeed Impact...