利用 Wwise 进行声学模拟

互动音频 / 声音设计 / VR 体验

在最近的项目中,我们尝试了利用 Wwise 构建虚拟原型以对客户在新建大楼中的未来办公区进行声学模拟。我们的任务是帮助客户在大楼建成之前评估其内部的声学效果。比如,各个区域(如开放的办公环境和封闭的会议室)在一天内不同时段的声音传播及声音强度的变化。我们要做的并不是对大楼进行声学测量或者收集具体的回响数据,而是在电脑上模拟大楼内不同地点的声学效果。总之,我们很高兴能够运用 Wwise 来模拟声学效果并探索各种可能。 

Picture1

准备工作

为了能让客户对整个声景有一个直观的了解,我们使用大量发声体逼真地再现了充满各种声音的办公环境。通过在虚拟办公室周围各个恰当位置单独部署各种声音(如咖啡杯撞击声、办公椅吱吱声、通风扇嗡嗡声),我们可以在此基础之上进行动态的声学模拟。

 

image5
Unity 中模拟散布于办公楼层各处的发声体。各种颜色分别代表不同的声音类别。 

 

除此之外,我们还可通过有效运用这些单独的发声体来确保开发阶段的灵活性。如此一来,即便项目交期很短而且诸多相关人士对要呈现的局部和细节存在不同的要求,我们也能轻松地调整各个发声体的位置,进而在视觉和听觉上向客户合理地展示大楼环境。不过,选用这种灵活的设计方式也意味着需要更多的前提投入,只有如此才能像在开放世界游戏中那样灵活地控制混音。

Wwise Reflect

 .

image1
上图显示了某个发声体将声音传给听者时的二阶反射。声音每次从表面反射时都会有一部分被表面上规定使用的声学材料吸收。

在模拟当中,我们选择了从 6 个有代表性的热点试听办公室的声学效果,以此向客户展示听觉方面存在的不同问题。热点的位置并不是固定的,用户可以根据需要来回移动。不过,现实中一般只有在对声音进行三角测量时才会随意移动位置。对理解环境和辨明方位来说,探身并转动头部来聆听可以带来很大帮助。Wwise Reflect 可以很好地帮助人们感知所处空间。

 

image3

 

Wwise Reflect 专门用来模拟早期反射声,它有助于用户了解房间的大小和形状。我们可以利用简便的换算表将实际的声学材料系数转换成 Wwise 参数,从而运用这些材料在 Wwise 中准确地模拟早期反射声。

Wwise Convolution

根据我们的经验,房间的特性在很大程度上取决于晚期反射声(即混响)。为了在 Wwise 中模拟这种声学效果,我们选用了 Wwise Convolution Reverb。该插件的主要作用是将获取的实际混响应用于干声。不过像我们这种情况,并没有办法实地录制房间混响,因为大楼还没建成。为此,我们围绕 6 个热点构建了 3D 模型,并使用第三方工具为这 6 个热点分别生成了一阶 Ambisonics 冲激响应。我们可以将这些冲激响应导入到 Wwise Convolution 中,进而根据上述区域中存在的声音创建相应的晚期反射声。也就是说,我们可以借助数字模型来更好地了解声学特性。因为第三方软件本身存在一定的限制,所以这些用来生成冲激响应的 3D 模型相对比较简单,并没有过多的微小细节。

 

image2
上图显示了某个用来生成模拟冲激响应的热点模型。其中橙色圆锥代表冲激响应对应的听者位置。

显然,冲激响应也不会比 3D 模型精细到哪去。为此,我们必须在试听时向客户声明,由于这些类型的反射缺乏相关细节,所以有可能跟实际情况存在一定的出入。比如,模型里并没有像显示器、鼠标垫、绿植、灯泡这样一些比较小的物体。但是所有这些都会吸收和阻挡传播的声音,所以肯定会对时间较短的混响产生影响。虽然模型比较简单,不过卷积混响效果听起来还是挺逼真的。计算得出的混响时间跟我们的预期基本一致。通过将计算结果与现实中类似结构的房间进行直观的对比,我们可以在向客户展示晚期反射声时坦然地声明两者之间存在的差异。

利用 Room 和 Portal 控制发声体

虚拟办公楼有超过 130 个声学反射表面,其内部散布着 170 多个发声体。所以,在发声体距离听者太远时,我们有必要剔除其发出的声音。当然,我们可以选用 Wwise 中内置的虚声部功能。不过为了从视觉上更好地予以呈现,我们最终还是选择了通过 Unity 脚本隐藏没有发声的发声体。即便如此,还是会有很多发声的发声体。利用 Wwise Room(房间)和 Portal(门户),可以很好地解决这一问题,同时还可节省很多资源。通过在不同的听觉房间(对应 3D 模型房间)分散放置发声体,我们可以最大限度地降低播放这些声音时占用的 CPU 资源。

 

image4
通过门户传播来自其他房间的声音,藉此节省混响处理资源。

在发声体发出的声音从其他房间穿过门户传到听者所在位置时,门户本身会成为这些声音的发声体。这样就可以节省很多系统资源,因为不需要处理其他房间中声音的反射。至少不用像听者所在房间内的发声体那样处理得那么精细。

客户展示

为了向客户展示,我们在一个安静的演示房间内配备了 Oculus Rift 头戴显示器和 Beyerdynamic DT770 Pro 耳机。在使用耳机时,需要在总线链上应用双耳声插件,以便对发声体进行适当滤波来营造真切的方位感。当时,我们选用了Resonance AudioWwise 插件。不过,像 Oculus Spatializer 这样的插件也是可以的。需要指出的是基于HRTF 模型得出的双耳声效果不可能真的完全匹配每一个人自身的生理构造特点,所以双耳声插件一般都会将你听到的声音进行染色。不过,好处总归大于坏处。

通过演示,我们得出了 5 个有关声学效果的重要结论,客户可以将其进一步运用到办公室的内部设计当中。这些结论可以用来指导实践操作。比如,在某些会议室中加装更多吸收材料,在开放办公环境中安置更多遮蔽设施。对模拟效果进行测试和向客户展示的真正意义在于明确开放环境中的声音和噪音对办公环境和工作文化的重要性。在通过模拟和试听了解到声音传播可能会轻易影响多名员工之后,我们才会有意识地判定哪些噪音可以接受、哪些不可接受,进而提醒员工加以注意。比如,在大楼的其他地方要站着聊天或打电话,而在办公桌前则要坐着探讨工作。这样可以利用周围的障碍物来有效地阻挡声音,从而避免干扰到其他人。

从该项目中获得的其他技术经验

  • 确保合理地指定总线发送设置,以便单独试听直达干声、早期反射声和晚期反射声。另外,还可利用全新的 3D Meter 可视化器,在实施性能分析时轻松了解混音情况。这样也好帮助客户在视觉和听觉上了解声音反射方式及最终听觉效果。点击此处了解 3D Meter 实用视频。

  • 提早在硬件上构建和测试。VR 设备和双耳声插件会占用大量资源,所以最好使用 Wwise Advanced Profiler 来监控插件。在视觉终端上必须确保能以 90FPS 的帧率流畅地运行工程,尽量减少视觉干扰,以便专心试听音频效果。

  • 注意 Wwise 中的新功能可以提供很多可能,但同时也会带来一定的挑战。随着 Wwise 的不断改进,Reflect 的 Room 和 Portal 设置想必会更加精细,当然最终效果肯定越来越好。

  • Wwise Reflect 非常好用,它让我们更清楚地认识到:为了减少早期反射声,对于模型中的有些房间,现实中可能需要在墙壁上安装更多的吸收材料。有兴趣不妨试试!

埃吉尔·桑菲尔德 (Egil Sandfeld)

首席技术官兼音频设计师

Awe

埃吉尔·桑菲尔德 (Egil Sandfeld)

首席技术官兼音频设计师

Awe

埃吉尔·桑菲尔德 (Egil Sandfeld) 希望能借助精妙的声音设计为用户提供愉悦的听觉体验。在 2015 年,他与三位合作伙伴一起在哥本哈根创立了 awe 公司。awe 致力于为游戏、XR 及周边装置设计 3D 互动音频。桑菲尔德目前广泛涉猎包括 VR 设备、空间化 ASMR 休闲应用、针对颈部康复的音乐与声音制品、线下实体场馆互动游戏及益智音乐游戏在内的多个领域。

theawe.dk

 @theawedk

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

《Blade Runner: Revelations》

《Blade Runner: Revelations》是 Seismic Games 和 Alcon Media Group 最近发布的一款以《Blade Runner》系列经典影片为蓝本的 VR...

25.9.2018 - 作者:_HEXANY AUDIO_

关于音频复用和高效利用的几点经验分享

大家好,“如何对音频资源做有节制、更高效的利用”,应该是大家工作中都会考虑的问题。...

30.12.2019 - 作者:胡正伟

Krotos 背后的故事

Krotos 专门为现实/科幻世界中的车辆和发动机音效开发了 Igniter Live Synth 插件。这款插件很快就会在 Audiokinetic Store 上架,以便广大 Wwise...

10.2.2020 - 作者:奥菲斯·博蒂斯 (Orfeas Boteas)

《FINAL FANTASY VII REMAKE》背后的声音设计

《FINAL FANTASY VII》的音乐受到很多人的喜爱,多年后推出的重制版再度赢得新生代粉丝的青睐。最近,我们有幸与 Square Enix 音频团队进行了广泛深入的交流,探讨了《FINAL...

18.5.2021 - 作者:SQUARE ENIX

在 Wwise 中调试并监控 Audio Object 的 9 个简单步骤

如果各位想了解 Wwise 中最新引入的基于对象的音频管线但又不知从哪里入手,不妨参考下述在 Windows 上使用 Wwise 设定并分析 Audio Object 的 9...

22.9.2021 - 作者:戴米安·卡斯特鲍尔(Damian Kastbauer)

Wwise Tour 2022 中国 - 视频回放

《哈利波特: 魔法觉醒-魔法世界的风格化音频设计》 《哈利波特:...

9.12.2022 - 作者:Audiokinetic (音频动能)

更多文章

《Blade Runner: Revelations》

《Blade Runner: Revelations》是 Seismic Games 和 Alcon Media Group 最近发布的一款以《Blade Runner》系列经典影片为蓝本的 VR...

关于音频复用和高效利用的几点经验分享

大家好,“如何对音频资源做有节制、更高效的利用”,应该是大家工作中都会考虑的问题。...

Krotos 背后的故事

Krotos 专门为现实/科幻世界中的车辆和发动机音效开发了 Igniter Live Synth 插件。这款插件很快就会在 Audiokinetic Store 上架,以便广大 Wwise...