如何利用Wwise实现耳机监听条件下的3D环绕立体声效果

声音设计 / 空间音频

本文为大家分享的是如何不依赖监听环境、付费插件与程序研发,单纯通过Wwise内的自带功能与参数,实现耳机监听环境下的立体声3D环绕效果的思路。希望可以帮助大家在低成本的研发条件下,创造出更好的声音体验。

众所周知,3D环绕立体声效果的实现,需要左耳与右耳听到不同的声音内容。当一个声音在播放时,通过分别对左声道和右声道的信号做不同的效果处理,使两个声道的信号有轻微的差异(包含音量、频率、音调、延迟等)。大脑识别到左耳与右耳接收的声音的轻微差异后,会根据经验为声音定位,从而模拟出类似现实世界中的声音方位感。

想要实现这样的效果,需要使用双声道混音技术将同一样本发送到左右声道的信号做区别处理。如何在Wwise中进行双声道混音,以及如何进行参数设置呢?

Wwise内的线路构架

双声混音技术所需要的工程总线构架与一般的工程内所使用的线路构架并不一样,如下图所示,一般的工程构架使用的,再由Master拆分成左声道信号与右声道信号,分别分配到左输出与右输出。

传统的Wwise输出模式一般工程采用的的线路构架

而双声道混音技术需则要在信号发送到Master之前,就先进行左、右声道的拆分处理,通过使用distancelistener coneazimuthparameter代替3D Positioning,将左声道内容与右声道内容分别进行效果处理,再将处理后的信号对应发送到设置了PanningBus中, 然后再送到Master的进行左输出与右输出的分配。因此双声道混音的线路构架应该如下图所示。

双声道混音的线路构建模式双声道混音的线路构架
1双声道混音的线路构建模式

双耳效应与侧方听感

理论来源

双耳效应:双耳效应是人们依靠双耳间的音量差、时间差和音色差(高频屏蔽,低频绕射)判别声音方位的效应。声音强弱不同时,可感受出声源与听音者之间的距离。

可以总结为以下两点

  • 声音在不同的方向传递到人的耳朵时,存在细微的差别,大脑会根据已有的听觉经验进行比较、分析,得出声音方位的判别。
  • 左耳和右耳的声音产生的变化包括音量变化,音色变化与时差变化三种。

双耳效应图示1

双耳效应图示2双耳效应图示

左右声道的处理方式

根据双耳效应的原理,需要在声音发声左右方位变化时对左声道与右声道分别进行不同的混音处理(音量差、时间差和音色差)。

如下图所示,图中用EQ代表音色差,Delay代表时间差,Vol代表音量差。用黄色与颜色深度表示数值的变化程度,越接近白色则数值变化越小,越接近深黄则数值变化越大。可以看出当声音从前或后方移动到极右时,右声道在移动的过程中,音色和音量发生了微小的变化,到达极右时右声道没有效果变化;而左声道的音色和音量发生了较大的变化,到达极右时变化最明显。除此之外,左声道的信号相较于右声道有时差区别,并且是越接近极右的情况下,左声道的时差越明显。

侧方方位听感与宽度拓展侧方方位听感与宽度拓展

Wwise中的控制方式

由于侧方方位听感与宽度拓展涉及的被控制参数的类型超出传统立体声实现方式中的可控参数类型,因此需要使用其他方式来控制参数,可以使用RTPCazimuth parameter)配合RTPClistener cone parameter)进行上述参数的控制。

 宽度拓展与侧方方位听感中应用的RTPC(azimuth parameter)宽度拓展与侧方方位听感中应用的RTPC-Delay(紫)和音量(红)(azimuth parameter
宽度拓展与侧方方位听感中应用的RTPC(listener cone parameter)宽度拓展与侧方方位听感中应用的RTPC-EQlistener cone parameter图中前半段

前后听感变化

后方听感

理论来源

耳廓屏蔽:当声音出现在听者的后方时,由于耳廓对声音的屏蔽作用,实际听到的声音与前方声音有音色与音量上的差别。

耳廓屏蔽效果图示耳廓屏蔽效果图示

前后运动中的听感变化

这里使用了一个的音调变化效果,来增强后方方位的表现力。在原始设计中,并不包含前后方位对应的音调变化。在进行反复测试后,发现原始设计的环绕听感效果更加接近“椭圆”形轨道,即左右宽,前后窄的效果,并且后方的听感效果表现力相对一般。

为了解决这个问题,在尝试了多种解决方式后,发现在处理后方听感时,增加轻微的pitch变化可以让环绕听感的效果更加接近“圆形”轨道,且后方听感相对明显。这种音调变化的幅度很小,对于玩家不会明显感受到听感上的差异。

多普勒效应图示多普勒效应图示

左右声道的处理方式

根据上文所述,需要对声音在前方与声音在后方做不同的音调与音色的处理。

如下图所示,图中用EQ代表音色差,Pitch代表音调差,用黄色与颜色深度表示数值的变化程度,越接近白色则数值变化越小,越接近深黄则数值变化越大。当声音从前方运动到听者位置时,越接近听者位置则音调变化越小。当声音从听者位置向后运动时,越远离听者位置则音调与音色的变化越大。

后方听感与前后变化听感前后变化听感

Wwise中的控制方式

与侧方听感及立体声宽度相同的是,在前后的方位变化上同样可以使用RTPC来进行控制,可以使用RTPCdistance parameter)配合RTPClistener cone parameter)进行上述参数的控制。

 后方听感与前后变化听感中应用的RTPC(listener cone parameter)后方听感与前后变化听感中应用的RTPC-LPF(蓝)、Pitch(绿)(listener cone parameter
宽度拓展与侧方方位听感中应用的RTPC(listener cone parameter)宽度拓展与侧方方位听感中应用的RTPC-EQlistener cone parameter图中后半段

环绕感的缩放

这里的数值设定不是必要的,而是为大家补充一个调整思路。听者对声音的方位变化感受是随着距离的变远而增强的,如下图所示,当发声体偏离听者的正前方时,在相同的偏离角度下,发声体距听者越近,这种偏离带来的方位变化感越小,而距离听者越远,则偏离带来的方位变化越明显。

距离与宽度的关系图距离与宽度的关系图

但是由于环绕立体声声场系统从混音线路的架构搭建,到各个参数的控制方式,都与传统的立体声声场的实现方式有很大的不同。因此需要建立一套对应的参数变化曲线,来控制听者感受到的方位变化的范围。

Wwise中,可以使用RTPCdistance parameter)来控制环绕效果的呈现比例,这种调节思路和方式与5.1环绕中平衡center比例的思路与方式大致相同。在这里,通过平衡环绕声输出线路发送音量与普通立体声线路发送音量,可以在距离较近时削弱环绕效果,在距离较远时增强环绕效果。

宽度缩放中应用的RTPC(distance parameter)1环绕声场效果音量RTPCdistance parameter
宽度缩放中应用的RTPC(distance parameter)2普通立体声效果音量RTPCdistance parameter

到此,环绕效果的基础数值就全部搭建完成了,这套数值为大家提供了一个基础的,宽度范围相对较小的环绕效果,在实际的运用中,可以通过调节各个参数的比例来对宽度范围进行自由的缩放,一起看一下这套参数的测试效果:

国内观赏视频通道

立体声环绕听感的方案可以应用于自由视角的3D类游戏,为玩家带来更加真实的声音感受。尤其在吃鸡,求生,VR等类型游戏中,可以帮助玩家对声源位置进行精准的方位与距离的判断,从而营造出更为真实的空间方位效果。

立体声环绕听感相较于传统的5.17.1等依赖多监听设备的环绕听感方案,其优势在于不会增加过多的体验成本,它可以拉低高真实性声音效果对监听环境的要求门槛,让广大玩家在手游上也可以体验到更为真实,更为精彩的声音效果。

 

王润琦

资深游戏音效设计师

网易游戏(互娱)

王润琦

资深游戏音效设计师

网易游戏(互娱)

就职于网易游戏(互娱)艺术设计中心,YOYO美术部Sonic音频组。主导过二次元卡牌、TPS、FPS、动作类、AVG、MMO等多类型游戏的声音设计与开发。主要从事Wwise应用技术、游戏混音与空间声学效果研究。

评论

大尾 李

May 15, 2020 at 06:09 am

你好,请问azimuth parameter和listener cone parameter区别在哪呢,求解

留下回复

您的电子邮件地址将不会被公布。

更多文章

使用Wwise+Unity+Intel Realsense实现人体动作与音频的互动

大家好,今天我为大家介绍的是利用Wwise、Unity和3D深度相机——Intel...

20.4.2020 - 作者:朱墨丹青

游戏和影视行业在音频制作上的一些区别 – 第 2 部分

在本文第 1...

10.8.2020 - 作者:杰斯帕.安卡菲尔德(JESPER ANKARFELDT)

人人都能用 WAAPI(一)概述

大家好,我是溪夜。 去年下半年我接触到了 WAAPI(Wwise Authoring API),作为头脑不怎么灵光的非专业程序员,看到 WAMP、JSON...

29.9.2020 - 作者:汪洋

互动音乐:根据玩家在游戏中所做的选择播放不同的乐段

在 2018 年众筹成功之后,inXile Entertainment 开始全力制作《Wasteland 3》。尽管上一款游戏《Bard's Tale IV》的配乐赢得了一致好评,布莱恩•法戈...

1.12.2021 - 作者:亚历山大•布兰登 (Alexander Brandon)

Tell Me Why | 音频日志 – 第 3 部分:声音设计

《Tell Me...

7.4.2022 - 作者:马休•菲奥伦蒂尼 (Mathieu Fiorentini)

加快 Strata 工作流程 | 第 2 部分 – Open Associated REAPER Project

简介 作为使用 REAPER 和 Wwise 的声音设计师,在 Wwise 中操作时经常会遇到想在 REAPER 中重新渲染声音的情形。为此,通常要手动查找源 REAPER...

26.7.2023 - 作者:Audiokinetic (音频动能)

更多文章

使用Wwise+Unity+Intel Realsense实现人体动作与音频的互动

大家好,今天我为大家介绍的是利用Wwise、Unity和3D深度相机——Intel...

游戏和影视行业在音频制作上的一些区别 – 第 2 部分

在本文第 1...

人人都能用 WAAPI(一)概述

大家好,我是溪夜。 去年下半年我接触到了 WAAPI(Wwise Authoring API),作为头脑不怎么灵光的非专业程序员,看到 WAMP、JSON...