atmoky Ears | 针对耳机为 Wwise 开发的空间音频插件

空间音频

atmoky Ears 一站式解决方案允许通过耳机为用户提供逼真的空间音频体验。它具备无可比拟的感知品质和效率,能将每一空间音频混音打造到极致。atmoky Ears 提供专有感知优化技术,可帮助设计师打造个性化的听觉体验。atmoky Ears 可大幅提高渲染效率,从而让设备性能得到充分的发挥。

atmoky Ears | 设计工具

(国内观赏视频通道

Subscribe

atmoky Ears | 设计缘由

在现实生活中,我们最多可以分辨上下四周多至 1000 个方向。有了这些信息,就能在环境和声景中移动时确定所处空间的很多状况。总的来说,我们对声音的感知是三维的。

为了在虚拟环境中呈现切实的深层听觉感受以构建逼真的空间音频体验,必须提供绝佳的空间分辨率和可信的空间特征并在渲染时结合头部运动。简而言之,须通过动态渲染来加以实现!

怀揣这一梦想,我们开始着手构建能够将各种空间音频渲染到耳机的一站式插件。

在整个构建过程中,我们尝试了很多不同的方法并进行了广泛的验证,发现找到一种满足所有预期的解决方案着实不易。尤其是在计算能力有限的情况下,实现起来更是困难重重。尽管如此,最终我们还是做到了!:-)

以下是我们在这一过程中的心得体会!

动态渲染至关重要

WwisePositionEditor

各位有没有试过让扬声器随着头部转动而移动?没有吗?它有没有随着你移动然后又移回了原来的位置?也没有?有没发现声源的音色不知为何产生了明显变化?

我们也没有!不过,我们在头部追踪双耳渲染当中反复做过类似的模拟。

若声源随着头部转动而移动,这样的渲染显然不是动态的。根据我们的经验,动态渲染对互动空间音频来说至关重要。它能给人以身临其境般的沉浸感。说得直白一点,我们认为只要有可能就应当使用动态渲染。幸运的是,Wwise 提供了这样的功能。

不过,在实施动态渲染时有个常见问题,那就是头部追踪设备本身的延迟。可惜我们不是硬件制造商,无法控制无线传输协议,所以没法解决这个问题 – 但愿将来能靠 5G 技术解决。

通过对双耳渲染进行感知优化,atmoky Ears 解决了与位置或方向相关的染色问题。如此一来,声源的音色便不会因为我们转动头部或声源在周围移动而产生不自然的变化。运动轨迹和方向变换会像现实当中一样自然流畅。

营造“出头感”体验

各位有没有在消声室或无反射环境中闭上眼睛感受过扬声器的音响效果?

我们试过,虽然知道扬声器大概在什么地方,但是没办法确定距离到底有多远。

可是,这跟空间音频或互动音频有什么关系呢?

要让声音听起来就像是从头部以外传来的一样,必须将声源设在特定的虚拟空间或类似环境中。为此,我们在 atmoky Ears 中配套提供了出头感效果器,确保在保持混音特性和声音品质的同时通过优化来营造“出头感”。

针对不同年龄段进行个性化调整

atmoky_ears_gui_1

各位有没有问过孩子在置身于虚拟声景中时觉得声源在哪里?

我们有。不出所料,我们发现不同年龄段的人在听觉方面存在很大差异。每个人的偏好、优势、体形都不一样。所以,在构建空间音频时,有必要加入个性化元素。为此,我们开发了自己的 atmoky HRTF 套件,为获得清晰的高品质音频实施了优化,并针对不同年龄段的听觉偏好进行了调整。凭借个性化优势,atmoky Ears 可为儿童、青少年和成人提供定制化的混音。

我们相信,肯定有游戏和项目是面向特定年龄段的。值得一提的是,我们的个性化预设可以给 VR 益智游戏或焦虑治疗带来很大便利。

效率是关键

各位有没有试过只用一副耳机和一部智能手机来呈现沉浸式空间音频体验?

我们也没有!但是,我们知道有人试过。

我们结合托马斯团队的反馈进行了专项优化,确保能够以最低计算成本提供最佳感知品质。针对硬件性能较低、电池要求严苛的设备,我们特地添加了性能模式选项。该模式可将插件所需的内存和 CPU 资源降低多达 50%。

空间音频格式不一而足

空间音频的格式和规范有很多,我们都想在插件当中提供支持。对此,atmoky Ears 融合了基于场景的格式以及基于声道的标准布局(从单声道到 13.1 配置)。

虽然我们想在插件中为所有的空间音频格式提供支持,但关键还是要能在不同的布局下渲染各个方向的声源(包括下方和上方)。

提供多平台支持

atmoky Ears 目前提供 macOs、Windows、Linux、iOS 和 Android 版本。稍后,我们还会扩展到其他平台。如果缺少您所需的平台,请给我们发送电子邮件。我们会尽快予以解决。

atmoky Ears – 专为线下 AR 音频体验设计

各位有没有试过只用一副耳机和一部智能手机来呈现沉浸式空间音频体验?

没有吗?我们也没有!但是,我们知道有人试过。下面来听听其中原委。

托马斯•艾兴格如是说

驾驶 DeLorean 穿越时空的经典场面令人印象深刻。试想一下,如果只需一副耳机和一部智能手机就能聆听不同时代的声音会是怎样的感觉。挺酷的,对吧?

我们 Scopeaudio 团队也是这么想的。跟 hoeragentur 团队一起,我们打造了沉浸式 AR 音频体验项目:Sonic Traces。体验场景设定在维也纳英雄广场,我们在那里留下了各种声音标记,来引导用户走上不同的历史道路,并尽情体验周围全新的声音世界。

其关键在于融入各种音效和人声,以构建交替变换的虚拟声学空间,让你可以穿行其中感受周遭景况。在此要说,技术应为我们全新的叙事方式提供支持,而不是反过来由技术决定我们该怎么做!不过在这个过程中,我们确实遇到了不少技术挑战和限制。其中有些挑战跟对用户位置的追踪有关,有些则与空间音频内容的渲染直接相关。

显然,感知品质和计算成本之间总是存在某种平衡。尤其是在计算资源有限的智能手机上,为了获得令人满意的结果,我们必须非常小心地进行调整和优化。

我们跟 atmoky 团队分享了自己的经验,其在 atmoky Ears 插件中结合了相关反馈。随后我们对之进行了测试,发现插件的效果非常出色。atmoky Ears 实现了感知品质和计算成本之间的绝佳平衡,这也使得其成为了我们所有应用和游戏的首选解决方案,以此确保可在移动设备上获得理想的空间音频品质。

不过,该插件并非仅仅在效率方面表现出众,其出头感效果器的设置也相当有特色。各位不妨以此为基础营造“出头感”体验。作为预设,建议将 Amount 设为 44,并将 Character 设为 71。

同行评价

“出头感是通过耳机将 3D 音频如实呈现到人耳中的一项关键因素。作为一款独具特色的工具,atmoky Ears 采用了业界所熟知的 IEM 插件的双耳合成算法,其能够依据场景和所用声源的特性提供不同程度的出头感。这样的话,玩家动作在声学方面会显得非常逼真,可显著增强被声音环绕的整体沉浸感。我们在不同的环境中测试了这款插件,发现其不仅易于整合且效果十分出色。”
– 迈克尔•艾伯

Subscribe

Thomas_Credit

 

THOMAS AICHINGER
空间音频设计师
scopeaudio

托马斯•艾兴格 (Thomas Aichinger) 是 scopeaudio 和 Sonic Traces 的联合创始人。托马斯目前主要从事沉浸式 6DoF AR/VR 音频体验项目的空间音频设计。除此之外,他还在 Royal Conservatoire The Hague、Central European University 和 FH St. Pölten 担任讲师。

icon_linkedin_hover


Iber

 

MICHAEL IBER
教授
St.Pölten University of Applied Sciences

迈克尔•艾伯 (Michael Iber) 在奥地利唯一的 Audiokinetic 认证学校 St. Pölten University of Applied Sciences 担任音频设计专业教授。迈克尔是该校数字媒体制作硕士学位音频设计硕士班的教学主任。他的研究重点之一是虚拟现实和增强现实中的听觉呈现与声音交互。

fhstp.ac.at/en/onepager/master-class-audio-design

icon_linkedin_hover

马库斯•扎恩施姆 (Markus Zaunschirm)

atmoky 联合创始人兼 CEO | 音频专家

atmoky

马库斯•扎恩施姆 (Markus Zaunschirm)

atmoky 联合创始人兼 CEO | 音频专家

atmoky

马库斯•扎恩施姆 (Markus Zaunschirm) 毕业于电子与音响工程专业,在 2020 年完成了对可听化、声学虚拟化与感知优化双耳渲染的研究并取得了博士学位。同年,他跟同事一起创立了 atmoky,致力于打造逼真的空间音频体验。

https://atmoky.com/

 @atmokyaudio?lang=en

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

为虚拟现实创造引人入胜的混响

9.5.2017 - 作者:本诺 阿拉里 (Benoit Alary)

反馈的乐趣

Wwise 2017.1中引入了3D 总线和总线辅助发送,这让模块化地使用声音引擎成为了可能,也让Wwise做到了之前从未想过的事情。我准备带你们跳出使用Wwise创作游戏音频的惯例...

23.11.2017 - 作者:内森 哈里斯(NATHAN HARRIS)

借助 3D Meter 以视觉形式显示 Ambisonics 信息

Ambisonics 自 2016.1 版本起,Wwise 总线开始支持 Ambisonics 声道格式。Wwise 兼顾编码和解码过程:编码是指在 Ambisonics 总线中将非...

4.9.2018 - 作者:肖恩·索拉汉(SEAN SORAGHAN)

《NieR: Automata》的空间声学设计以及如何借助 Wwise 实现对多种游戏玩法的支持 – 第 2 部分

请阅读本文第 1 部分。 利用 Wwise 控件为各种游戏玩法提供支持...

25.3.2019 - 作者:PlatinumGames Inc.

将 Spatial Audio 整合到 Unity 中

展示如何把 Spatial Audio 整合到 Unity 演示游戏《WAG》中的直播视频回放已上线!地址:https://www.youtube.com/watch?v=UFCZ9t4DwGQ...

13.10.2020 - 作者:麦斯·麦雷蒂·桑德鲁普 (Mads Maretty Sønderup)

Wwise 中针对 Spatial Audio 所作的改进 – 第 1 部分:距离建模和早期反射

随着 2019.2 的发布,我们对 Spatial Audio 做了很多改进。比如,我们参考光照技术提升了射线投射引擎的性能。对此,我们团队的克里斯托弗·托尼里 (Christophe...

31.5.2021 - 作者:路易斯-扎维尔·布法尼 (Louis-Xavier Buffoni)

更多文章

为虚拟现实创造引人入胜的混响

反馈的乐趣

Wwise 2017.1中引入了3D 总线和总线辅助发送,这让模块化地使用声音引擎成为了可能,也让Wwise做到了之前从未想过的事情。我准备带你们跳出使用Wwise创作游戏音频的惯例...

借助 3D Meter 以视觉形式显示 Ambisonics 信息

Ambisonics 自 2016.1 版本起,Wwise 总线开始支持 Ambisonics 声道格式。Wwise 兼顾编码和解码过程:编码是指在 Ambisonics 总线中将非...