Si vous avez parcouru la liste des nouvelles fonctionnalités de Wwise 2023.1, et en effet, il y en a beaucoup, vous avez peut-être remarqué une phrase en particulier : « révision du modèle d'envois auxiliaires ». Mais qu'est-ce que cela peut bien vouloir dire ? Eh bien justement, c'est le sujet de cet article. Je vais décrire les changements apportés à Wwise Spatial Audio, et expliquer comment il fonctionne en arrière-plan tout en dévoilant les détails pratiques et les motivations sous-jacentes. Un petit avertissement cependant, il est possible que les choses deviennent un peu techniques. Cet article s'adresse principalement aux utilisateurs ayant au moins une certaine expérience dans la configuration de Rooms et Portals ou dans la création de bus auxiliaires dans Wwise. Si vous êtes utilisateur novice de Spatial Audio de Wwise, cet article vous sera plus utile si vous téléchargez d'abord un exemple de projet à partir de l'Audiokinetic Launcher et si vous essayez de mettre en place des Rooms de réverbération dans un niveau Unreal ou Unity.

Pour Wwise 2023.1, nous avons effectué une amélioration incrémentale au signal path (cheminement du signal) de Spatial Audio - à la fois en termes de facilité d'utilisation et de flexibilité. Ici, lorsque je fais référence au signal path, je fais spécifiquement référence à la façon dont les bus sont automatiquement créés et acheminés de l'un à l'autre. La fonctionnalité Spatial Audio de Wwise se situe en amont du moteur audio, lui transmettant des instructions sur la manière de traiter et de rendre l'audio, d'une façon correspondant à ce qui se passe dans la simulation. D'une manière générale, la structure de routage de bus est basée sur le placement des Game Objects de types Emitter, Listener et Room dans le monde virtuel. 

Signal direct / non traité
- Atteint directement le Listener.
- Le son est perçu comme provenant d'une direction distincte.
- Peut subir de la diffraction à travers des Portals ou autour d'obstacles.
- Peut se transmettre à travers les murs.

Signal indirect / traité / réverbéré
- Atteint le Listener par des chemins indirects.
- Le son est dispersé et diffus.
- Difficile d'en percevoir une direction précise.
- Rebondit plusieurs fois sur les murs des Rooms.

Le moteur audio de Wwise fournit un cadre flexible pour générer des voix audio et des bus dans le contexte d'un Game Object. Les voix et les bus, qui sont connectés avec des Auxiliary Sends (envois auxiliaires) ou des connexions directes de sortie (collectivement juste des « connexions »), peuvent être visualisés dans le Voice Graph de l'outil de création Wwise. Le Voice Graph et le Voice Inspector sont d'excellents outils pour comprendre ce qui se passe à l'intérieur du moteur audio.

Voilà pour les quelques informations de base nécessaires. Pour un aperçu complet de la façon dont Spatial Audio achemine le signal audio à l'intérieur du moteur sonore, référez-vous à la section Propagation Paths in the Rooms and Portals Signal Model de la documentation. Vous pouvez l'ouvrir dans un nouvel onglet et vous y référer.

Concernant la révision du modèle d'envois auxiliaires de Wwise 2023.1, voici nos objectifs généraux de conception : 

1. Nous voulons permettre pour chaque son la personnalisation de tous les paramètres de rendu, incluant les courbes d'atténuation, de diffraction et de transmission. Dans le monde réel, les sons suivent un ensemble de règles strictes régies par les lois de la physique. Cependant, dans les jeux vidéo, il est souvent nécessaire de personnaliser les sons pour obtenir un effet créatif spécifique. Certains sons, par exemple, doivent se propager anormalement plus loin que ce que la physique imposerait, par exemple pour rendre des dialogues audibles. De plus, puisque la plage dynamique dont nous disposons est limitée, les sons qui devraient être perçus comme plus forts dans le monde virtuel doivent être conçus avec une courbe d'atténuation de volume plus plate et plus longue que les sons plus calmes. Dans Wwise 2022.1, il est en effet possible de définir, pour chaque son, des courbes d'atténuation pour les envois auxiliaires définis par le jeu (« game-defined auxiliary sends »), lesquelles sont utilisées pour contrôler la quantité de signal envoyée à la chaîne de bus d'une Room (le « wet path » ou signal traité). Cependant, les courbes de diffraction et de transmission pour le signal traité étaient séparées et distinctes. Elles devaient être partagées par tous les sons acheminés dans une Room, ce qui était peu pratique et fastidieux. Cela devait changer.
2. Nous ne voulons pas que les gens aient à créer plus de courbes que nécessaire, et nous ne voulons pas non plus que les gens aient à faire des compromis lorsqu'il s'agit de créer des courbes. Il n'est pas toujours possible de concevoir, pour une Room donnée, une seule courbe qui fonctionnera pour tous les sons de cette Room. S'il y a, par exemple, à la fois des bruits de pas et des coups de feu dans une Room, toute courbe communément appliquée à tous les sons jouant dans cette Room serait probablement un compromis.
3. Nous voulons modéliser le phénomène acoustique du son qui se propage dans une pièce et qui en ressort. Si vous vous rendez à l'entrée d'une grotte et que vous criez fort ou que vous faites éclater un ballon, vous entendez le son se réverbérer dans la grotte et en ressortir à nouveau. Avant Wwise 2023.1, vous n'entendiez la réverbération de la grotte que lorsque l'émetteur ou le Listener se trouvait dans la grotte.
4. Nous voulons accomplir tout cela en maintenant 1 bus auxiliaire et 1 instance de réverbération par Room. Créer un bus de réverbération unique et une instance de réverbération par voix audio rendrait les choses beaucoup plus simples. Nous pourrions alors personnaliser précisément la sortie de chaque réverbération en fonction des caractéristiques uniques de l'émetteur. Malheureusement, cela entraînerait une augmentation significative et inacceptable de l'utilisation du processeur.

Alors, qu'est-ce qui a changé dans la révision du modèle d'envois auxiliaires de Wwise Spatial Audio dans la version 2023.1 ?

Concernant le signal traité, tous les paramètres de rendu, y compris les valeurs évaluées de diffraction et de perte de transmission, ont été déplacés à l'entrée du premier bus de Room dans la chaîne audio. En supposant que les effets sur le bus d'une Room sont linéaires et invariants dans le temps, ce qui est généralement le cas pour les effets de réverbération, cela ne fait aucune différence d'appliquer un filtre/une atténuation sur les sons avant ou après le bus. Le tampon audio résultant sera exactement le même.

Filtrage / atténuation due à la Diffraction et à la Transmission

Le déplacement des paramètres de rendu « en amont » vers l'entrée de bus d'une Room permet d'atteindre l'objectif de conception 1, tout en supportant l'objectif de conception 2. Étant donné que nous disposons pour chaque son d'une connexion à l'entrée du bus de la Room, chaque son pourra appliquer des paramètres de rendu spécifiques au son. Et voilà ! Les courbes d'atténuation appliquées aux bus d'une Room ne sont plus nécessaires, et nous avons réduit le fardeau concernant la création de courbes.

Appliquer la diffraction à l'entrée du bus d'une Room présente toutefois un inconvénient. Il n'est plus possible d'avoir une valeur de diffraction distincte pour les deux sorties de la Room. Un bus de Room, à moins qu'il ne soit le dernier de la chaîne audio (c'est-à-dire la Room où se trouve le Listener) dispose de deux sorties : une sortie directe vers le Game Object Listener, et une sortie auxiliaire pour chaîner le signal avec une autre Room. Lorsque la diffraction est appliquée à l'entrée, le signal est pré-filtré et pré-atténué. La connexion directe au bus du Listener et l'envoi vers la Room en aval seront déjà filtrés. Comparez ceci à Wwise 2022.1, où la diffraction d'une Room ne s'applique qu'à la sortie directe. Dans les faits, cela signifie qu'un son dans une Room adjacente ne peut pas directement exciter la Room du Listener. La sortie est déjà filtrée - elle a perdu son énergie dans les hautes fréquences.

Afin d'atténuer cet inconvénient et, ce faisant, d'atteindre l'objectif de conception 3, nous avons ajouté une nouvelle connexion entre l'émetteur et chaque Room adjacente. Auparavant, l'émetteur ne générait du signal que pour la Room dans laquelle il se trouvait, et non vers les Rooms adjacentes. Cette nouvelle connexion ne sort pas de nulle part, elle trouve son origine dans la physique : elle représente un son se propageant directement depuis un émetteur, excitant la pièce adjacente, mais sans rebondir d'abord dans la pièce où se trouve l'émetteur.

Puisque l'émetteur excite maintenant directement les Rooms adjacentes, si le Listener se trouve dans l'une des Rooms adjacentes, il peut entendre le son avec son spectre complet et une valeur de diffraction correcte. De plus, l'envoi dans les Rooms adjacentes nous permet de modéliser le phénomène acoustique de la propagation du son dans une Room et de son retour (objectif de conception 3). Si l'émetteur et le Listener se trouvent, par exemple, à l'entrée d'une grotte, la grotte est maintenant excitée par le son voisin. Comme toujours, la réverbération de la grotte est spatialisée en 3D, sonne comme si elle provenait de l'entrée de la grotte, et offre une panoramique et une propagation réalistes.

1. Le son se propage depuis l'émetteur dans la Room
2. Le son rebondit et devient un champ diffus
3. Le champ sonore diffus se propage à travers le Portal et est entendu par le Listener.

Comparaison de Wwise 2023.1 avec Wwise 2022.1

Nous allons solidifier notre compréhension par un exemple concret, en comparant les Démos d'Intégration de Wwise 2022.1 et 2023.1. La Démo d'Intégration est distribuée avec le SDK de Wwise, et vous pouvez la trouver dans la section Samples de l'Audiokinetic Launcher, si vous voulez suivre en parallèle tout au long de cet article. Ci-dessous, nous avons un scénario tiré de la « Portal and Geometry Demo », que j'ai précisément reconstitué dans les deux versions. Le Listener se trouve dans une Room définie comme extérieure (« Room: Outside Object ») et adjacente à la Room intérieure contenant l'émetteur (« Room: Room Object »). Deux Portals relient les deux Rooms, ce qui donne lieu à trois chemins de propagation : un chemin de transmission à travers le mur et deux chemins de diffraction, un pour chaque Portal. 

Ancien modèle : Portals et géométrie dans Wwise 2022.1

1. Émetteur vers la Room
2. Room vers le Listener

Le Voice Inspector dispose de deux parties, le voice graph sur le panneau de gauche, et la contribution list à droite. Le voice graph se lit de gauche à droite, chaque bloc représentant un tampon audio mixé ensemble, après application du filtrage, de l'atténuation, et de la panoramique/spatialisation le cas échéant, application qui se fait sur les connexions entre chaque bloc tout au long du cheminement du signal vers le Master Audio Bus. Pour comprendre ce qui se passe à chaque étape, nous nous référons à la contribution list sur la droite, qui se lit de bas en haut, et montre les valeurs de volume et LPF, ainsi que la manière dont elles sont dérivées. Dans la capture d'écran ci-dessus tirée du Voice Inspector, notez les deux connexions en surbrillance qui forment un cheminement du signal à travers le Voice Graph, en commençant par le son et en terminant par le Master Bus. Ici, j'entends par « cheminement du signal » une séquence de blocs (sons ou bus) dans le Voice Graph, ce qui ne doit pas être confondu avec un chemin de propagation, qui est ce que nous voyons dans le Game Object 3D Viewer. Le chemin de propagation est le chemin à travers le monde virtuel calculé par Wwise Spatial Audio.

Une grande partie de la complexité concernant la compréhension de Wwise Spatial Audio repose sur la relation entre les chemins de propagation et les cheminements du signal. Le cheminement du signal est basé sur les chemins de propagation - il est composé de la séquence de Rooms formée par le chemin le plus court entre l'émetteur et le Listener. Ils ne correspondent pas de manière exacte l'un à l'autre, et ne le peuvent pas, en raison des compromis qui doivent être faits dans un souci de praticité et d'efficacité. Notamment, nous ne voulons qu'une seule réverbération par Room (objectif de conception 4, ci-dessus), et nous ne pouvons pas avoir de boucle de feedback dans le cheminement du signal.

Les chemins de propagation déterminent la longueur du chemin et ses coefficients de diffraction et de transmission qui, à leur tour, déterminent la manière de filtrer et d'atténuer les connexions dans le Voice Graph. Les chemins de propagation apparaissent dans la contribution list à droite, pour les connexions correspondantes.

Notez les deux connexions en surbrillance :

1) La connexion entre l'émetteur et la Room, en jaune.

• Cette connexion représente l'énergie injectée par la source qui se réverbère à l'intérieur de la Room et produit un champ diffus.
• Trois chemins de propagation sont indiqués dans le Voice Inspector à droite, correspondant aux trois chemins dans le Game Object 3D Viewer.
• L'atténuation de distance est appliquée ici. Puisqu'elle fait partie du signal traité, nous évaluons la courbe des volumes d'envois auxiliaires (Game-Defined) du son. Il est très pratique d'appliquer la courbe de distance à ce stade-ci et cela permet à chaque son d'avoir sa propre courbe d'atténuation pour le signal traité[1].

2) La connexion entre la Room et le Listener, en bleu-vert.

• Cette connexion représente le champ diffus de la Room, se propageant directement vers le Listener, éventuellement à travers un Portal (avec diffraction) ou à travers un mur (avec perte de transmission).
• Encore une fois, il y a trois chemins de propagation montrés dans le Voice Inspector à droite, correspondant aux trois chemins dans le Game Object 3D Viewer.
• Dans Wwise 2022.1 et ses versions antérieures, la diffraction et la perte de transmission étaient appliquées à cette connexion. Notez que le bus d'une Room, à moins qu'il ne s'agisse de la Room où se trouve le Listener, a deux sorties. L'une directement vers le Listener, et l'autre vers la Room suivante en aval (la connexion « Room à Room »). La raison pour laquelle le filtrage a été appliqué à cette connexion est que nous pouvions avoir de l'audio non filtré transmis à la Room en aval sur l'autre sortie. Cela correspondait également à la manière dont la diffraction (et l'obstruction) était appliquée à la sortie directe/non traitée d'un émetteur, mais pas aux sorties auxiliaires/traitées (wet).
• Remarquez que les valeurs de diffraction ne correspondent pas exactement au petit pourcentage indiqué sur les trajectoires dans le Game Object 3D Viewer. Ce point-là est un peu subtil, mais il est lié à la manière dont nous calculons la diffraction pour le signal traité. Plus d'informations sur ce sujet à venir.

Nouveau modèle : Portals et géométrie dans Wwise 2023.1

1. Émetteur vers la Room
2. Room vers le Listener

Regardez bien ! Nous avons la diffraction, la transmission et l'atténuation de distance sur la première connexion, en jaune (« Émetteur vers la Room »). La connexion 2 est maintenant plutôt anecdotique - elle ne contient que le volume comportemental (une façon de rendre une Room plus ou moins forte dans le mixage en ajustant le slider de volume du bus pour un effet créatif).

Il n'est plus possible de définir des courbes pour le bus d'une Room (objectif de conception 2) - les courbes sur les bus de Room sont ignorées. Désormais, toutes les courbes sont regroupées en un seul endroit et peuvent être personnalisées pour chaque son (objectif de conception 1) !

Détails techniques : Résolution d'un problème subtil de volume

Le déplacement de la transmission et de la diffraction vers la première connexion résout également un problème subtil lié à la façon dont nous mixons l'audio dans le moteur sonore. Même si une connexion peut représenter plusieurs cheminements sonores, nous ne disposons que d'un seul filtre DSP pour chaque connexion. Si les chemins de propagation ont des valeurs de filtre différentes, ce qui est souvent le cas, nous utilisons une moyenne pondérée en fonction du volume pour obtenir la valeur finale du filtre. Nous appliquons ensuite une compensation de l'intensité sonore, basée sur la différence entre la valeur de filtrage souhaitée et la valeur réelle, lorsque nous mixons l'audio. Le mixage résultant sonne de façon convaincante comme si chaque chemin de propagation avait son propre filtre DSP. Le problème que nous avions dans Wwise 2022.1 et versions antérieures, était que, parce que l'atténuation de distance était appliquée sur la première connexion, et le filtrage de diffraction/transmission sur la seconde, nos moyennes pondérées de volume étaient en fait incorrectes - parce que chaque connexion ignorait ce que l'autre faisait. Les utilisateurs avertis ont peut-être remarqué que leur réverbération était toujours un peu plus forte que prévu et, pire encore, que dans certaines circonstances, elle se coupait brusquement lorsqu'elle dépassait la limite d'une courbe d'atténuation de distance. Ces problèmes de volume de réverbération sont maintenant résolus, et la réverbération n'a jamais sonné aussi bien dans Wwise !

Autre chose à propos des courbes d'atténuation sur les bus de Room

Voici une dernière chose un peu gênante concernant la création de courbes sur un bus de Room dans Wwise 2022.1. Si vous vouliez vraiment définir une courbe personnalisée pour votre Room, une petite manipulation devait être exécutée pour que les choses fonctionnent. Il fallait ajouter une atténuation personnalisée au bus de la Room dans Wwise, puis aplatir explicitement la courbe distance-volume, parce que c'était la seule courbe qui ne pouvait pas être désactivée. Sans cela, l'atténuation de distance était appliquée deux fois lors du cheminement du signal audio ! La vie est beaucoup plus facile lorsque vous n'avez pas à penser aux courbes d'atténuation de vos bus de Room.

Nouvelle connexion : Émetteur vers une Room adjacente

3. Émetteur vers la Room adjacente

La capture d'écran ci-dessus met en évidence la nouvelle connexion introduite pour la version 2023.1 - la connexion « Émetteur vers la Room adjacente ». Rappelons que cette connexion modélise l'énergie sonore de l'émetteur excitant directement les Rooms adjacentes (sans rebondir en premier lieu dans la Room de l'émetteur).

La réverbération de la Room où se trouve le Listener est maintenant excitée par une chaîne de signal qui n'est pas encombrée par la diffraction du Portal. Comme vous pouvez le voir dans la contribution list, la diffraction est toujours appliquée, mais de façon minimale et stratégique. Pour des informations détaillées sur la façon dont la diffraction est appliquée au signal traité, référez-vous à la section « Wet Path Diffraction » de la nouvelle documentation de Wwise Spatial Audio, spécifique à Wwise 2023.1.

Mais ce qui est peut-être plus excitant, c'est que cette nouvelle connexion nous permet de modéliser un effet « d'entrée de grotte » que j'ai mentionné plus tôt. Essayez-le, selon nous, il sonne très bien !

Bien sûr, nous nous préoccupons toujours des performances, et nous ne voulons pas créer trop de bus de réverbération. Surtout s'ils ne contribuent pas de manière audible et significative au résultat final. Nous avons ajouté un nouveau paramètre dans AkSpatialAudioInitSettings pour limiter le nombre d'envois de Rooms par émetteur. Réduire uMaxEmitterRoomAuxSends à 1 empêchera les émetteurs d'envoyer du signal dans des rooms adjacentes, comme c'était le cas dans la version 2022.1. Nous avons constaté qu'une valeur de 2 ou 3 est un bon compromis entre performance et qualité, car les Rooms les plus fortes seront toujours choisies au détriment des Rooms les moins fortes.

Calcul des valeurs d'envoi auxiliaire d'un émetteur

En parlant de plus fort ou de moins fort, je vais terminer par une brève explication de la manière dont nous avons déterminé les valeurs d'envoi auxiliaire de Room d'un émetteur. Chaque connexion entre un émetteur et une Room, qu'il s'agisse de la Room dans laquelle il se trouve ou d'une Room adjacente, possède un gain « Room Send » qui apparaît au bas de la contribution list et qui est visible dans les captures d'écran de la version 2023.1 ci-dessus. Un émetteur de type point-source, à une distance fixe, dispose d'une quantité constante et finie d'énergie à distribuer dans sa propre Room et dans les Rooms adjacentes. L'énergie devrait toujours être préservée - elle ne devrait pas fluctuer en fonction de la position de l'émetteur ou de la Room, sauf si cela est spécifiquement dicté à des fins créatives à l'aide des sliders de gain dans l'outil de création. À tout moment dans le temps (et dans l'espace), la somme des valeurs d'envoi au carré est égale à 1. La quantité d'énergie envoyée dans une Room voisine est déterminée par la valeur de propagation d'un Portal (techniquement, il s'agit de l'angle solide du Portal, sous-tendu par l'émetteur), proportionnellement à l'ensemble de la sphère autour de l'émetteur.

Voici une capture d'écran du Game Object 3D Viewer avec vue de dessus. Il s'agit exactement du même scénario appliqué à la Démo d'Intégration vu précédemment.

Envoi vers la Room de l'émetteur : 80%
Envoi vers la Room Outside : 3%
Envoi vers la Room Outside : 17%

Tout comme sur une gâteau, l'énergie sonore provenant de l'émetteur est découpée et répartie entre sa propre Room et les Rooms voisines. Dans l'exemple ci-dessus, 80% de l'énergie est « captée » par la Room de l'émetteur. Cette énergie est envoyée au bus de réverbération de Room de l'émetteur. Les 20% restants sont « perdus » dans les Rooms adjacentes et sont envoyés aux bus de réverbération des Rooms adjacentes (notez que les chiffres indiqués ici sont approximatifs et servent uniquement à la démonstration). La proportion de surface du Portal par rapport aux murs détermine l'équilibre entre les différents envois de Room. Un émetteur situé dans une Room fermée enverra 100% du son dans sa propre Room. De même, s'il y a plus d'ouvertures de Portals que de murs, la majeure partie de l'énergie sera « perdue » dans les Rooms adjacentes.

Wwise 2023.1 apporte de gros changements pour Spatial Audio, et le modèle révisé d'envois auxiliaires n'en est qu'une partie. Essayez-le en utilisant l'Audiokinetic Launcher. Si vous ne travaillez pas actuellement sur votre propre jeu, l'Unreal Demo Game est un excellent point de dépar. Vous pouvez aussi télécharger le Wwise Audio Lab pour un terrain de jeu complet dédié à l'expérimentation. 

Notes

[1] Si vous étiez là lors de l'introduction initiale des Rooms et Portals en 2017, vous avez peut-être été frustré parce que vous deviez définir une atténuation de distance pour chaque Room.