SpectralMultiEffect est un plug-in pour Wwise. Il a été créé dans l'intention d'améliorer l'interactivité dans les jeux vidéo, et d'offrir aux concepteurs-ices sonores une source inépuisable d'expérimentation et de transformation audio. On y trouve deux fonctionnalités majeures : Un éventail d'effets disponibles pour modifier le signal audio, et un système permettant d'accéder aux informations provenant des données audio elles-mêmes en vue d'une utilisation directe dans le jeu.

SpectralMultiEffect offre de nombreuses façons de transformer le signal par des traitements appliqués au spectre sonore. Jusqu'à trois effets peuvent être appliqués en série, et tous les paramètres disponibles peuvent être contrôlés au moment de l'exécution grâce aux RTPCs de Wwise. Cela inclut la possibilité d'activer ou de désactiver les effets, ou encore de les intervertir au moment de l'exécution. 

J'ai remarqué l'intérêt des concepteurs-ices sonores pour les outils améliorant les interactions entre le contenu audio et le jeu. Pour ce projet de plug-in, je voulais fournir la possibilité d'utiliser les données obtenues à partir du signal audio pour influencer ou contrôler directement des aspects du comportement du jeu. Pendant la lecture, les données provenant du domaine temporel ou fréquentiel, et obtenues à partir du signal audio, peuvent être mises à la disposition de l'application pour n'importe quel scénario d'utilisation. Cela peut être utile pour établir une connexion étroite entre le jeu et le contenu audio.

Un ensemble de callbacks est fourni, pouvant être utilisés par les développeurs-euses afin d'obtenir en temps réel des données provenant de l'audio dans plusieurs formats. Comme les plug-ins peuvent être affectés à des canaux ou directement à des sons, il est également possible de mettre en place plusieurs flux de données, par le biais d'instances séparées du plug-in, chacune ayant ses propres callbacks.

Alors que les plug-ins audio destinés aux jeux vidéo sont souvent conçus avec objectif de résoudre un problème technique spécifique et bien identifié, SpectralMultiEffect peut être considéré comme un outil créatif. J'espère qu'il favorisera un travail d'exploration et d'expérimentation de l'audio pouvant conduire à découvrir des sons intéressants, et créant ainsi une expérience enrichissante et interactive pour votre jeu.

Les fonctionnalités suivantes sont disponibles :

1. Onze effets différents agissant dans le domaine fréquentiel, comprenant, entre autres, des changements de hauteur, un délai multibande, et un effet de freeze du spectre.

2. La possibilité d'obtenir des informations de temps ou de fréquences à partir des données du signal audio, et de les envoyer à l'application, permettant de synchroniser l'audio avec d'autres éléments du jeu.

3. La possibilité de visualiser l'audio dans l'outil de création Wwise tout en ayant accès aux données de l'application.

4. Des préréglages mettant en avant les différentes transformations sonores possibles. Ceux-ci peuvent être utilisés comme point de départ pour vos propres expérimentations.

Utiliser SpectralMultiEffect

Effets audio

Trois emplacements sont disponibles pour appliquer des effets en série. Ils peuvent être sélectionnés et activés ou désactivés à tout moment pendant le fonctionnement du plug-in. De plus, il est possible d'effectuer un pitch-shift dans une plage de +/- 3 octaves sans affecter la durée du son.

Zone de sélection des effets dans l'interface de Wwise

Lorsque le plug-in est actif, les données audio entrantes sont converties dans le domaine fréquentiel. Le traitement est effectué à ce niveau, avant la reconversion du signal dans le domaine temporel pour la lecture. 

Une fois que vous avez sélectionné les effets à utiliser, vous pouvez contrôler leurs paramètres à l'aide du système de RTPCs. Beaucoup sont disponibles, mais vous n'avez besoin de contrôler que ceux impliqués dans les effets que vous avez activés.

Obtenir des données de signal audio en utilisant les callbacks du plug-in

Des callbacks définis par l'utilisateur sont disponibles pour préparer et obtenir des données à partir du signal audio.

Les options disponibles incluent les données peak ou RMS pour le domaine temporel, et les bandes ou bins de fréquences pour le domaine fréquentiel. Les données peuvent être envoyées à l'utilisateur avant ou après l'application d'un traitement d'effets.

Pour obtenir des données à partir du signal audio pour votre application :

1. Créez une instance de l'effet dans le projet Wwise, en lui attribuant un nom unique qui l'identifiera dans l'application au moment de l'exécution.

Ajout d'un Tag pour identifier une instance du plug-in

Déclarations des callbacks dans ZcSpectralMultiEffectFXCallback.h

2. Implémentez les callbacks d'initialisation (« Initialize »), de terminaison (« Terminate ») et d'exécution (« Execute »). Ceux-ci sont déclarés dans le fichier ZcSpectralMultiEffectFXCallback.h. (Ce fichier sera copié dans votre répertoire d'inclusion Wwise lors de l'installation du plug-in, il vous suffit donc d'ajouter une directive #include pour l'utiliser dans votre code source).

Le callback d'initialisation est utilisé pour configurer le format de données privilégié. Ceci est fait en remplissant la structure ZcSpectralMultiEffectDataFormat.

Pendant la lecture, la callback d'exécution fournira à l'application les données du signal dans le format qui a été demandé. Le Tag d'identification défini par l'utilisateur sera également reçu, afin de faciliter la gestion de plusieurs instances du plug-in.

Le callback de terminaison notifie que l'opération d'une instance particulière du plug-in se termine. Tout travail de nettoyage nécessaire afin de faire correspondre les actions prises pendant l'initialisation peut être fait ici.

Examiner les données dans l'interface de Wwise

Lorsque vous examinez votre application dans l'outil de création Wwise, vous pouvez visualiser les données du signal dans la fenêtre Effect Editor du plug-in. Cela est possible avec des données dans le domaine temporel ou fréquentiel, comme on peut le voir dans les captures d'écran ci-dessous.

Préréglages

Quelques préréglages sont inclus, et peuvent être sélectionnés dans l'outil de création, via le menu déroulant en bas à droite de la fenêtre Effect Editor. Ils présentent des exemples de réglages qui pourraient vous intéresser. Vous pouvez générer des préréglages d'usine basés sur ces exemples, ou bien créer les vôtres, et les utiliser comme vous le feriez pour tout autre plug-in.

Plateformes prises en charge

À l'origine, SpectralMultiEffect est disponible sur les plateformes mobiles (Android / iOS) et de bureau (Mac / Windows). J'envisage d'étendre la prise en charge, notamment aux consoles de jeu. Si vous souhaitez que SpectralMultiEffect soit disponible sur la plateforme de votre projet, veuillez me contacter via le site web et m'en informer. En fonction de l'intérêt des utilisateurs, je considérerai les plateformes à ajouter prochainement.

Exemples audio

Voici trois exemples mettant en évidence le traitement audio que permet SpectralMultiEffect.

Voix parlée

Ce fichier commence avec une voix non traitée. Écoutez-la se transformer progressivement en utilisant différentes combinaisons d'effets dans SpectralMultiEffect.

Sons de piano

Le premier échantillon audio est le signal original non traité. Chaque échantillon suivant est traité d'une manière différente avec SpectralMultiEffect.

Sons de gong

Le premier échantillon audio est le signal original non traité. Chaque échantillon suivant est traité d'une manière différente avec SpectralMultiEffect.