利用 Wwise 实现逼真的触觉效果

Wwise 技巧和工具

简介

我叫香田夏雄 (Natsuo Koda),是 Miraisens 的首席执行官,主要从事触觉技术的研发和业务拓展。

触觉技术在移动设备、汽车和游戏中的应用越来越广,在触觉技术相关展会和文章中曝光的机会也越来越多。然而,围绕触觉编辑的讨论往往都是从声音编辑延伸出来的。为了加深各位对触觉技术的理解,我特意撰写了这篇文章。

在这篇博文中,我将向各位阐明何为触觉技术,并着重介绍如何在游戏中实现更好的触觉效果。另外,我还会介绍如何将我们的触觉设计工具 (AMPTIX) 与 Wwise 轻松集成。

 

目录

何为触觉技术?
为何需要触觉效果?
我们是谁?要做什么?
现实设备
利用 AMPTIX 创建丰富的触觉效果
Wwise 和 AMPTIX 之间的功能集成
时间线播放流程
RTPC 播放流程
结语

 

何为触觉技术?

为何需要触觉效果?

在如今快速发展的游戏领域,我们已经习惯了可与现实媲美的画面和身临其境的环绕音效。但是,触觉效果又如何呢?

触觉技术一般是指通过向用户施加压力、振动或运动来提供皮肤反馈的技术。在游戏领域,触觉技术的应用始于简单的控制器振动。当时有这样一些常见的说法。比如,“控制器振动?我关掉了,因为它会分散我对游戏的注意力”,或者“不管有没有振动,都不会对游戏产生太大影响”。

最近,随着控制器性能的提高,人们对触觉效果的认识逐渐发生了转变。不过,在构建逼真的振动效果方面仍然缺乏成熟的专业知识和实践经验。

作为一家主要专注于触觉技术研究与开发的公司,我们希望能在这一不断发展的领域发挥重要作用。我们的目标是提供触觉解决方案以让创作者能够充分运用自己的直觉和感官来实现他们想要的一切。那么,就让我们一起构建一个“没有触觉效果的游戏被认为沉闷无趣”的世界吧。

 

我们是谁?要做什么?

Miraisens 是一家专门从事触觉技术研发的初创公司。

作为 Murata Manufacturing Co., Ltd. 的子公司,我们致力于从硬件和软件两方面推进逼真触觉技术的实际应用。

 Photo1-2


在此,请允许我先简要介绍一下触觉技术的发展历程。从学术角度来说,触觉技术已经取得了几十年的研究成果,也为人们提供了大量与触觉相关的知识。

Photo2_EN

Source: http://wiki.ahuman.org/index.php/MindTracts 

另一方面,虽然触觉技术的应用从 20 世纪 80 年代的 VR 时代就已大幅增加,但通用触觉技术的深入开发和大范围普及却仍在进行之中。触觉技术有很多流派,不过大致可分为两类:“如实地再现现实:真实设备”和“虚幻但感觉像现实:现实设备”。

[真实设备示例]

Photo3

来源:https://www.dextarobotics.com 

 

[现实设备示例]

Photo4

现实设备

比方说运用到游戏中,前一种“如实地再现现实”的方法就好比游戏厅的射击游戏。它往往缺乏大范围的多用性,比如真正开枪并感受后坐力。
后一种“虚幻但感觉像现实”的方法与通用游戏高度兼容,因为在使用相同的控制器时每一款游戏都会产生不同的感觉。
在 Miraisens,我们正在探索后一种方法,也就是“现实设备”。

这些设备旨在唤起真切感受,即使它们并不直接模拟现实。随着对这一领域的深入研究,我们注意到了从传统的“节奏(单频)型”触觉技术向更复杂的“丰富(宽带)型”触觉技术的转变。

image22

我们的研究与这一演变过程刚好契合。节奏型设备带来的皮肤刺激给人的感觉只是简单的振动,而丰富型设备却可给人以“很像某种东西”的心理感知。作为一家公司,我们的最终目标是进一步提升丰富型设备的性能并唤起更高层次的感官体验。

利用 AMPTIX 创建丰富的触觉效果

比方说,你在弹电吉他。我们将其连接到功放和单块效果器以生成更加逼真的音效。通过对失真的调整,我们可以获得更细腻或更粗糙的音色。在对声音进行处理时,我们经常会一边听一边对波形加以微调来获得自己想要的声音。

image13_EN

现在,让我们来详细了解一下触觉技术。假设我们要使用音效创建音频触觉效果。首先,我们可能会想到为音效应用低通滤波器来提取低频分量并将其用作触觉反馈。虽然这种方法在没有专业工具的情况下效果还算不错,但往往给人以过分简单化的感觉(如简单的蜂鸣声)。

但是如何营造出更丰富的知觉印象?怎样才能生成难分虚实的触觉反馈?有时能偶然制造出一种奇妙的感觉,但更多时候需要不断地尝试和纠错。那么,您可能会问自己:应当如何扭曲这些波形?怎样才能增加高频分量?

Miraisens 的触觉编辑工具可在音效的基础上通过合成器来生成触觉反馈。我们将粗糙感或平滑感等质感直接融入到了知觉库中而非对波形进行操控。要获得理想的触觉体验,需要在整体上加以调整,而不是单纯地编辑波形。

image12_EN

比如,在 DAW 中使用合成器营造火箭筒余音回荡的感觉时。 

  • 粒子大小 → 振动频率
  • 锐度 → 谐波分量 
  • 随机性 → 增加频率和谐波分量的波动

借助这些概念,我们可以通过直观的方式实现想要的效果。

image16_EN

此外,借助 Miraisens 的专有技术 Directional Force,甚至还可将独特的感觉融入到控制器的振动中。其中包括: 

  • 被沉重击打的力量感
  • 被左右晃动的力量感

不过,这些感觉只有亲身感受才体会得到。我想将其传达给游戏开发者、对本文持怀疑态度的人以及享受游戏乐趣的未来玩家。

[时间线编辑示例]

image18_EN

[触觉编辑示例]

Photo10

* 除此之外,还可通过触摸来确认多种表面材料的质感。

 

Wwise 和 AMPTIX 之间的功能集成

对从事声音编辑和开发的人来说,Wwise 是个不可或缺的工具。倘若将 Wwise 与其他工具(包括 AMPTIX)集成,甚至还可进一步提高制作效率。

AMPTIX 为 Wwise 提供了一个插件。对于经常使用 Wwise 的声音设计师和游戏设计师,即便对集成流程不甚了解,也能轻松整合各种触觉功能。下图展示了将 AMPTIX 插件集成到 Wwise 中之后的样子。接下来,我们详细了解一下如何集成 Wwise 和 AMPTIX。 

时间线播放流程

Photo11

首先,要导入 Wwise 工程中的音频数据。为此,请打开 Wwise 工程文件夹并选择要编辑的 WAV 文件。然后,单击 RUN 按钮来将这些数据导入到 AMPTIX。您可以发送单个或多个 WAV 文件并以此编辑触觉数据。对此,可使用 AutoGenerate 功能来根据音频波形自动创建触觉编辑数据。除此之外,还可在 AMPTIX 中预览触觉素材的同时手动进行编辑。

[将 Wwise 数据导入到 AMPTIX]

Photo12

[AutoGenerate 功能]

Photo13

[利用 AMPTIX 编辑触觉数据]

Photo14

[将触觉数据发送回 Wwise]

在将触觉数据发送回 Wwise 工程后,就可以在 Wwise 端播放触觉效果了。

Photo15

在 Wwise 中,连接设备和总线(如下图所示)。

Photo16

比如,按照 #4 中所述的步骤,配置结果如下:在将 AMPTIX 插件集成到 Wwise 中后,AMPTIX 总线会出现在菜单中。您可以通过选择总线来使用 AMPTIX 功能。

Photo17

连接完成后,就可以播放触觉效果了。连接目标控制器,然后按下下图所示 Play 按钮,控制器就会振动。

Photo18

 

RTPC 播放流程

接下来,我们详细了解一下触觉素材的实时 RTPC 播放。在 Wwise 中,可利用 AMPTIX 播放各种力觉 (Directional Force) 和触觉 (Surface Texture) 素材。

Photo19

要使用该功能,可从 New Child 中选择 AmptixForce 或 AmptixTactile 并为其指派参数。

Photo20

Photo21

只需选中 RTPC 并按下 Play 按钮,便可在控制器上播放触觉效果。在振动的时候,还可实时修改参数来调整振动效果。

 

结语

就像前面说的,我们公司多年来一直致力于触觉技术的研究和开发。对于触觉技术最近的发展,我们感到非常高兴。通过 Wwise 和 AMPTIX 之间的功能集成,触觉数据的编辑变得更加简单方便了。同时,我们也很荣幸能为尽快将触觉技术推向市场贡献自己的一份力量。

有兴趣的话,请通过以下网址与我们联系,并试着将 Wwise 和 AMPTIX 集成。

miraisens.com 
info@miraisens.com 

香田 夏雄(NATSUO KODA)

CEO

Miraisens, Inc.

香田 夏雄(NATSUO KODA)

CEO

Miraisens, Inc.

曾在 Sony Kihara Research Center 和 Sony Corporation 从事 3D 计算机图形 (3DCG) 的研究、开发和商业化。2007 年离开 Sony,随后参与创办了多家 Deep Tech 初创公司。2014 年与他人共同创立 Miraisens 并担任 CEO,专注于 3DHaptics 技术的研究和开发。这项技术旨在通过皮肤刺激使大脑产生错觉从而达到以数字形式表达触觉的目的。2019 年,Miraisens 加入 Murata Manufacturing Co., Ltd.,致力推进 3DHaptics 的商业化。2021 年,推出触觉中间件解决方案 AMPTIX。2021 年之前,担任 Digital Hollywood University 研究生院教授,从事与技术相关的研究、写作和咨询工作。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

怎样控制声部 - 优化CPU(PART 1)

对于任何项目,在开发过程中遇到性能问题都是很常见的。问题原因可能多种多样,但大部分情况下都和同时播放的声音数目直接相关。虚声部(Virtual Voice)只计算音量,而实声部(Physical...

16.11.2017 - 作者:马修.让(MATHIEU JEAN)

SoundSeed Grain 的开发历程

很长时间以来,由于粒子合成器在声音设计上的广泛应用,我们一直都想为 Wwise 开发一款通用的粒子合成器插件。这样就可以利用它生成各种各样的声音,来为游戏设计提供丰富灵活的支持。 我记得几年前曾在...

12.8.2019 - 作者:路易斯-扎维尔·布法尼 (Louis-Xavier Buffoni)

使用Game Audio Connect连接Nuendo与Wwise

5.5.2020 - 作者:洪伟森

Wwise语音管理探究

游戏的角色语音管理是一项细致且繁琐的工作。从项目的前期到后期,会遇到对角色语音的增删改查、添加动态效果处理及创建不同语种间的切换等需求。建立一套稳定可靠的语音管理流程会为工作带来效率。...

2.3.2021 - 作者:吉吉(徐喆)

Wwise 2023.1 新增功能

Wwise 2023.1 现已推出并可通过 Audiokinetic Launcher 下载。下面来简要介绍一下该版本中都有哪些新增功能。...

7.7.2023 - 作者:Audiokinetic (音频动能)

如何在 Unreal Engine 中播放来自 Wwise 的声音

Wwise 有很多功能;不过在开发初期,如果不是很清楚如何使用,其可能无法按照预期运行。我不想各位因为最初的小插曲而觉得 Wwise...

30.7.2024 - 作者:合田浩(Hiroshi Goda)

更多文章

怎样控制声部 - 优化CPU(PART 1)

对于任何项目,在开发过程中遇到性能问题都是很常见的。问题原因可能多种多样,但大部分情况下都和同时播放的声音数目直接相关。虚声部(Virtual Voice)只计算音量,而实声部(Physical...

SoundSeed Grain 的开发历程

很长时间以来,由于粒子合成器在声音设计上的广泛应用,我们一直都想为 Wwise 开发一款通用的粒子合成器插件。这样就可以利用它生成各种各样的声音,来为游戏设计提供丰富灵活的支持。 我记得几年前曾在...

使用Game Audio Connect连接Nuendo与Wwise