WAAPI AK-thon

音频编程

201747日,即将发布的Wwise Authoring APIWAAPI)通过公司内部黑客马拉松的形式进行了测试。当然了,我们在Audiokinetic非常爱用品牌专有术语,所以我们很自然地将它称为,AK松(AK-thon)!
所有项目都必须包括至少一个WAAPI部分但也可以包括其他技术所有团队都可以选择任何语言或环境从稍微古怪些的想法到比较严肃的概念2-5人的团队们提交了他们的创意,并一天的时间将其实现。 

IMG_8160.jpg

  

以下是这愉快而“WAAPI”的一天中的4个WAAPI项目!

  ..............

 ............

3D衰减可视化器

团队:Benoit SanterrePascal Viandier

目标:在Unreal Engine(虚幻引擎)中的3D空间看到衰减曲线,并且在Wwise中改动它时能实时看到曲线的变化。

DSC07108.jpg

-Benoit Santerre的总结

我们想要做的就是在3D世界中(在我们的案例中就是Unreal Engine 4(虚幻引擎4))表示声音的衰减曲线。我们使用WAAPI检索一个声音对象的衰减曲线,然后使用Unreal Engine Procedural Mesh Component(程序网格组件)来环绕Z轴旋转这条衰减虚线结果就是这个在引擎3D视图中像是一个环绕声源的圆锥的图形,这让我们能轻松地看到声音怎样随着距离衰减。在Wwise中改变曲线的话会自动刷新Unreal中的网格,让我们可以轻松进行混音迭代。

AkThon_UE4_Attenuation.png

 

  ..............

无限随机环境声

团队:Shawn LaptisteAlexandre LessardKristian MahAxel Helie FontaineBrian McHugh 

目标:使用Essentia的音频分析和基于音频的音乐信息检索,从确定和FreeSound声音数据库中相似的样本中取材创造环境声和音乐主题。样本会使用频谱、时间、声调和高级音乐描述符进行分析。

DSC07105.jpg

-Shawn Laptiste的总结

在这个作品我们尝试使用WAAPIWwise中基于一个输入模板声音来创建随机声音序列 Essentia是用于对模板声音进行分析的,之后从Essentia分析中提取的信息就用于在Freesound中用Freesound APIquery(查询)寻找相似的声音这些新的相似声音通过WAAPI被导入到Wwise工程中。然后这些声音的小片段就带着随机的混合持续时间被置入Sequence Containers(序列容器)中的Random Containers(随机容器)中,以此创造出和原有模板声音相似但发生了不可预测变化的新的音频。

 

Wwise抓取器:使用Leap Motion控制器的音频编辑手势界面

团队:Xavier BuffoniThalie KeklikianNathan HarrisAlexandre Savard

目标创造一个应用该应用使用控制器界面来通过WAAPI控制3D位置,移动听者和发生点(事件),提取衰减曲线,拉长/缩短声音,并且可选特性)导入3D模型,模拟几何空间驱动的混响。DSC07103.jpg

-Thalie Keklikian的总结

我们项目背后的想法是想用手势来控制Wwise就像《少数派报告》那种风格的。我们的想法来自团队成员Alex,他在家刚开始用起来Leap Motion设备。Leap Motion控制器是一个USB插入式传感器,它使用IR摄像头来追踪在其上方区域的双手的位置。它的SDK能很轻松地用于感应手指、双手,以及手臂。它甚至能分辨出左右手! 

WAAPI可以做所有Wwise能做到的事,而且一点也不需要使用形界面黑客马拉松中我们从它身上引用了三个主要功能:一个是播放当前事件,一个是前往下一事件,最后一个是设置RTPC值。我们也创造了3种不同的手势。为了播放事件,我们决定使用一根手指的动作。代码会检测是不是感应到一根手指,如果是,它会进一步看手指是不是从无效区进入触摸区。之后,张开一只手上的所有手指会前进到下一个事件。当播放事件时,有第三种手势可以改变该声音。我们这里用的是捏的手势,或者按照我们的说法,抓取。当一个人用手抓取一个隐形节点,并在Leap Motion的X和Y轴上移动时,这些位置会作为RTPC值发送。在Wwise工程侧,我们创建了不同的事件,每一个事件都有一个声音和用两个RTPC可以改变的内容。比如有一个事件是播放Wwise Synth One SFX 它由正弦和锯齿波构成当沿着Y(竖直)抓取移动时,基频会改变。当沿着X轴(水平)移动时,锯齿波会进行变换。 

结果让人印象深刻它看起来有点像是我们在弹泰勒明琴(非常基础的款式)。当然,这些都是一天内做好的,所以我们的最终产品并不完美。比如我们找的一些捷径,就是把抓取指派到了和其它两种手势不同的另一只手上,以便在做抓取手势时不会偶然触发另两种手势。但是,有时Leap Motion还是感应不出正确的那只手,于是就会调用错误的函数。但我们在过程中很开心,这才是重点!这个WAAPI项目开启了很多的机会。想象一下能让人们用手势追踪系统来VR版 Wwise中更改曲线和游戏参数的样子吧!

 

  ..............

OBD2上的Wwise引擎声创作链接(WEALO 'pronounced oui allo')

团队:Francois ThibaultTai VuongMaximilien Simard PoirierSimon Ashby 

目标:直接从OBD2诊断硬件界面的实时或离线轨迹中提取发动机相关参数来驱动引擎声合成RPM,车速,发动机负载)。这可以控制 Wwise运行时参数为车辆发动机声音合成设计提供更真实的测试和模拟 IMG_8169.jpg

-Francois Thibault的总结

如果连一个运行的基础物理模拟应用都没有的话设计真实的汽车声音有时确实是很大的挑战。所以,在声音设计师开始设计车辆声音之前,通常需要在编程上花费精力。我们的想法是利用OBD2诊断硬件界面对于真实车辆的数据收集,不管是实时的还是重放先前采集好的数据,以此来直接通过WAAPI在Wwise 中驱动RTPC参数,比如RPM、车速,以及引擎负载,而不需要任何Wwise SDK集成

 

  ..............

 

了解Wwise Authoring API (WAAPI)的更多详情

 

Audiokinetic (音频动能)

Audiokinetic (音频动能)

Audiokinetic 是全球领先的互动媒体和游戏行业跨平台音频解决方案供应商,为线下实体场馆娱乐 (LBE)、汽车、消费电子和训练仿真行业树立了新的互动音频制作标准。经过多年的努力,Audiokinetic 与众多音频企业和平台制造商协力打造了一个庞大而成熟的生态系统,成为了全球顶级互动媒体开发商和 OEM 值得信赖的战略合作伙伴。公司研发的中间件解决方案包括屡获殊荣的 Wwise® 以及 Wwise Automotive™ 和 Strata™。Audiokinetic(Sony 集团旗下公司)总部位于加拿大蒙特利尔,在日本东京、中国上海、荷兰希尔弗瑟姆均设有分公司,并在美国派驻有产品专家。

 @audiokinetic

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

连通 Wwise 和 REAPER – 第 1 部分:WAAPI Transfer

也许大家对 WAAPI Transfer 并不陌生,但我还是觉得有必要详细地说一说。WAAPI Transfer 是一款开源的 REAPER 扩展插件,方便将音频素材直接从 REAPER 导出到...

18.5.2020 - 作者:尼古拉·卢基奇 (Nikola Lukić)

连通 Wwise 和 REAPER – 第 2 部分:ReaOpen

ReaOpen 是一款免费的小程序,方便快速选择音频文件并打开其原始 REAPER 工程。它能在 Windows 和 Mac 上运行,并可集成到 Wwise、Explorer/Finder 和...

25.5.2020 - 作者:尼古拉·卢基奇 (Nikola Lukić)

关于Wwise插件开发流程

前言...

24.3.2021 - 作者:李昱宸

Unity中Wwise音频可视化及游戏内录屏方案的思路探索

一、前言: 希望本篇分享能抛砖引玉,激发大家更多的开发灵感。

14.7.2021 - 作者:张成功

Wwise Authoring Query Language 简介

“Wwise 不过是张电子表格”。作为用户体验团队成员,我们经常会听到有人这样说。事实上,Wwise 不仅是款声音设计工具,Wwise...

20.7.2021 - 作者:伯纳德 罗德里格 (Bernard Rodrigue)

通过 ReaWwise 在 ReaScript (Lua) 中调用 WAAPI

ReaWwise 有个大家可能不太知道的功能,就是将原始 WAAPI 函数暴露给 REAPER。藉此,用户可在自己的 ReaScript 中使用这些函数。在本文中,我们将探讨如何使用 WAAPI 在...

23.4.2024 - 作者:安德鲁·科斯塔 (Andrew Costa)

更多文章

连通 Wwise 和 REAPER – 第 1 部分:WAAPI Transfer

也许大家对 WAAPI Transfer 并不陌生,但我还是觉得有必要详细地说一说。WAAPI Transfer 是一款开源的 REAPER 扩展插件,方便将音频素材直接从 REAPER 导出到...

连通 Wwise 和 REAPER – 第 2 部分:ReaOpen

ReaOpen 是一款免费的小程序,方便快速选择音频文件并打开其原始 REAPER 工程。它能在 Windows 和 Mac 上运行,并可集成到 Wwise、Explorer/Finder 和...

关于Wwise插件开发流程

前言...