2017年4月7日,即将发布的Wwise Authoring API(WAAPI)通过公司内部黑客马拉松的形式进行了测试。当然了,我们在Audiokinetic非常爱用品牌专有术语,所以我们很自然地将它称为,AK松(AK-thon)!
所有项目都必须包括至少一个WAAPI部分,但也可以包括其他技术,所有团队都可以选择任何语言或环境。从稍微古怪些的想法到比较严肃的概念,2-5人的团队们提交了他们的创意,并用一天的时间将其实现。
以下是这愉快而“WAAPI”的一天中的4个WAAPI项目!
..............
............
3D衰减可视化器
团队:Benoit Santerre,Pascal Viandier
目标:在Unreal Engine(虚幻引擎)中的3D空间看到衰减曲线,并且在Wwise中改动它时能实时看到曲线的变化。
-Benoit Santerre的总结:
我们想要做的就是在3D世界中(在我们的案例中就是Unreal Engine 4(虚幻引擎4))表示声音的衰减曲线。我们使用WAAPI来检索一个声音对象的衰减曲线,然后使用Unreal Engine的 Procedural Mesh Component(程序网格组件)来环绕Z轴旋转这条衰减虚线。结果就是这个在引擎3D视图中像是一个环绕声源的圆锥的图形,这让我们能轻松地看到声音怎样随着距离衰减。在Wwise中改变曲线的话会自动刷新Unreal中的网格,让我们可以轻松进行混音迭代。
..............
无限随机环境声
团队:Shawn Laptiste,Alexandre Lessard,Kristian Mah,Axel Helie Fontaine,Brian McHugh
目标:使用Essentia的音频分析和基于音频的音乐信息检索,从确定和FreeSound声音数据库中相似的样本中取材创造环境声和音乐主题。样本会使用频谱、时间、声调和高级音乐描述符进行分析。
-Shawn Laptiste的总结
在这个作品中,我们尝试使用WAAPI在Wwise中基于一个输入模板声音来创建随机声音序列 。 Essentia是用于对模板声音进行分析的,之后从Essentia分析中提取的信息就用于在Freesound 中用Freesound API来query(查询)寻找相似的声音。 这些新的相似声音通过WAAPI被导入到Wwise工程中。然后这些声音的小片段就带着随机的混合持续时间被置入Sequence Containers(序列容器)中的Random Containers(随机容器)中,以此创造出和原有模板声音相似但发生了不可预测变化的新的音频。
Wwise抓取器:使用Leap Motion控制器的音频编辑手势界面
团队:Xavier Buffoni,Thalie Keklikian,Nathan Harris,Alexandre Savard
目标:创造一个应用,该应用使用控制器界面来通过WAAPI控制3D位置,移动听者和发生点(事件),提取衰减曲线,拉长/缩短声音,并且(可选特性)导入3D模型,模拟几何空间驱动的混响。
-Thalie Keklikian的总结
我们项目背后的想法是想用手势来控制Wwise,就像《少数派报告》那种风格的。我们的想法来自团队成员Alex,他在家刚开始用起来Leap Motion设备。Leap Motion控制器是一个USB插入式传感器,它使用IR摄像头来追踪在其上方区域的双手的位置。它的SDK能很轻松地用于感应手指、双手,以及手臂。它甚至能分辨出左右手!
WAAPI可以做所有Wwise能做到的事,而且一点也不需要使用图形界面。在黑客马拉松中,我们从它身上引用了三个主要功能:一个是播放当前事件,一个是前往下一事件,最后一个是设置RTPC值。我们也创造了3种不同的手势。为了播放事件,我们决定使用一根手指的动作。代码会检测是不是感应到一根手指,如果是,它会进一步看手指是不是从无效区进入触摸区。之后,张开一只手上的所有手指会前进到下一个事件。当播放事件时,有第三种手势可以改变该声音。我们这里用的是捏的手势,或者按照我们的说法,抓取。当一个人用手抓取一个隐形节点,并在Leap Motion的X和Y轴上移动时,这些位置会作为RTPC值发送。在Wwise工程侧,我们创建了不同的事件,每一个事件都有一个声音和用两个RTPC可以改变的内容。比如有一个事件是播放Wwise Synth One SFX ,它由正弦和锯齿波构成。当沿着Y轴(竖直)抓取移动时,基频会改变。当沿着X轴(水平)移动时,锯齿波会进行变换。
结果让人印象深刻。它看起来有点像是我们在弹泰勒明琴(非常基础的款式)。当然,这些都是一天内做好的,所以我们的最终产品并不完美。比如我们找的一些捷径,就是把抓取指派到了和其它两种手势不同的另一只手上,以便在做抓取手势时不会偶然触发另两种手势。但是,有时Leap Motion还是感应不出正确的那只手,于是就会调用错误的函数。但我们在过程中很开心,这才是重点!这个WAAPI项目开启了很多的机会。想象一下能让人们用手势追踪系统来在VR版 Wwise中更改曲线和游戏参数的样子吧!
..............
OBD2上的Wwise引擎声创作链接(WEALO 'pronounced oui allo')
团队:Francois Thibault,Tai Vuong,Maximilien Simard Poirier,Simon Ashby
目标:直接从OBD2诊断硬件界面的实时或离线轨迹中提取发动机相关参数,来驱动引擎声合成(RPM,车速,发动机负载)。这可以控制 Wwise运行时参数为车辆发动机声音合成设计提供更真实的测试和模拟。
-Francois Thibault的总结
如果连一个运行的基础物理模拟应用都没有的话,设计真实的汽车声音有时确实是很大的挑战。所以,在声音设计师开始设计车辆声音之前,通常需要在编程上花费精力。我们的想法是利用OBD2诊断硬件界面对于真实车辆的数据收集,不管是实时的还是重放先前采集好的数据,以此来直接通过WAAPI在Wwise 中驱动RTPC参数,比如RPM、车速,以及引擎负载,而不需要任何Wwise SDK集成。
..............
了解Wwise Authoring API (WAAPI)的更多详情。
评论