Ambisonics avec Wwise : Aperçu

La fonctionnalité clé du pipeline ambiophonique consiste en la possibilité de paramétrer la configuration des canaux des bus selon le premier, le deuxième, le troisième, le quatrième ou le cinquième ordre de traitement des sons ambiophoniques. De là, tout signal non ambiophonique acheminé vers un tel bus est automatiquement encodé en format ambiophonique, et tout signal ambiophonique acheminé vers un bus non ambiophonique est automatiquement décodé en fonction des paramétrages d'ordre établis. Finalement, les signaux ambiophoniques acheminés à des bus ambiophoniques sont traités soit sans changement (attribution directe), soit en rotation et en contraction selon la position et l'orientation relatives de l'élément de jeu et de l'auditeur (spatialisation 3D). De plus, vous pouvez :

• importer et jouer des éléments B-format en format FuMa (jusqu'au troisième ordre) ou en format AmbiX (jusqu'au cinquième ordre);
• utiliser des plugiciels d'effets pour personnaliser le décodage;
• utiliser des plugiciels d'effets comme Google Resonance ou Auro Headphone pour convertir les sons ambiophoniques en sons binauraux;
• acheminer un tableau ambiophonique vers des appareils audio prenant en charge l'ambiophonie;
• enregistrer un bus ambiophonique sur le disque, puis le réimporter avec Wwise Recorder;
• utiliser vos plugiciels Wwise* préférés pour traiter les sons ambiophoniques comme ils le feraient pour les autres formats.

*Sauf Stereo Delay et Matrix Reverb.

Représentations spatiales intermédiaires dans le cadre de l'audio 3D

Le blogue L'ambiophonie en tant que représentation spatiale intermédiaire (pour la RV) explique en détail le concept des représentations spatiales (ou 3D) intermédiaires. Sommairement, le mixage de bus dans les niveaux plus élevés de la hiérarchie de bus devrait être configuré afin de partager de l'information tridimensionnelle dans le but d'en faire un mixage binaural de façon appropriée pour les écouteurs ou d'en faire un mixage réduit pour des haut-parleurs. Ceci s'avère particulièrement utile lorsque le jeu cherche à tirer avantage de la technologie audio 3D intégrée à certaines plateformes.

Wwise prend en charge les trois types de représentations tridimensionnelles intermédiaires de sous-mixages audio :

• Objets sonores : avant l'arrivée du pipeline d'objets qui a vu le jour avec Wwise 2021.1, il n'y avait aucun mixage possible. La représentation d'objets se situe à une extrémité du spectre, où les sons individuels d'un mixage ne sont pas mixés en tant que tel; ils sont en fait regroupés afin que leurs informations de positionnement individuelles soient préservées jusqu'à ce qu'elles soient traitées par un moteur de binauralisation (ou plus habituellement par un « moteur de rendu 3D »). Ceci permet au moteur de rendu 3D de travailler de façon optimale, puisqu'il n'y a aucune perte d'informations tridimensionnelles. Toutefois, les sons ne font pas l'objet d'un mixage réduit, ce qui veut dire que plutôt que d'appliquer un effet aux maints canaux du bus de mixage, il faut désormais l'appliquer à tous les sons individuels, ce qui pourrait représenter des centaines de sons.
• Objets fixes : en d'autres mots, la configuration de canaux en fonction des positions de canaux connues. Un des choix typiques est la configuration 7.1.4, en raison de la « hauteur » des haut-parleurs (au-dessus du niveau des oreilles), ce qui permet de représenter des sons venant d'au-dessus. Par contre, la configuration 7.1.4 ne peut pas représenter les sons venant d'en dessous de façon appropriée. Par ailleurs, lorsqu'un son n'est pas directement aligné avec un haut-parleur, sa directionalité est transmise de façon moins qu'optimale par les trois haut-parleurs avoisinants.
• Ambiophonie : l'ambiophonie est comparable aux objets fixes dans le sens où le nombre de canaux demeure constant. Toutefois, la représentation spatiale n'est pas meilleure dans certaines directions plutôt que d'autres comme pour les objets fixes; elle ne varie pas selon la rotation, ce qui veut dire qu'elle demeure floue de façon uniforme. La netteté de la représentation est proportionnelle à l'ordre d'ambiophonie.

Configuration d'un effet de binauralisation pour un bus ambiophonique

Créez un bus sous Master Audio Bus, où se situera l'effet de binauralisation ambiophonique, comme Google Resonance ou Auro Headphones. Tout audio nécessitant un traitement binaural devrait être acheminé à ce bus.

Réglez ce bus selon l'une des configurations ambiophoniques. Puisqu'il est utilisé à titre de représentation spatiale intermédiaire, plus son rang est élevé dans l'ambiophonie, plus il sera net. Bien que la configuration du bus soit ambiophonique, la configuration de sortie du bus sera en stéréo en raison de l'effet de binauralisation.

L'ambiophonie par rapport aux objets sonores

L'ambiophonie est un format approprié pour le traitement par le biais de moteurs de rendu 3D, dont les moteurs de binauralisation. Contrairement aux objets sonores, elle garantit un nombre fixe de canaux pour le traitement en ce qui concerne les effets de sous-mixage et le moteur de rendu 3D, au détriment de la précision en matière de directionalité. La précision obtenue est directement proportionnelle au nombre de canaux choisis (de 4 à 36).

D'autre part, le pipeline d'objets est intransigeant lorsqu'il s'agit de la précision de la direction. Ainsi, il préserve les précieuses informations tridimensionnelles des objets à tout prix. C'est alors aux concepteurs de trouver d'autres façons de conserver le nombre d'objets sonores (par exemple, limitations vocales), et donc de canaux, sous contrôle.

L'ambiophonie et les objets sonores

Le pipeline d'objets dans Wwise prend en charge les objets sonores avec des canaux multiples, ainsi que l'ambiophonie. Cela veut donc dire que les deux représentations ne sont pas mutuellement exclusives. Par exemple, il est possible d'utiliser des objets sonores afin de préserver les sons qui profitent davantage du rendu optimal de la directionalité des objets sonores, alors que l'ambiophonie fait le reste du travail. En d'autres mots, chaque son qui n'est pas préservé en tant qu'objet sonore est acheminé au tableau. L'ambiophonie est idéale pour la représentation d'un tableau pour les mêmes raisons que celles mentionnées plus haut.

Configuration d'un tableau ambiophonique dans le contexte d'objets sonores

Le « premier rang » de représentation spatiale devrait faire appel à des objets sonores, mais la création d'un bus ambiophonique enfant pour le tableau force un mixage ambiophonique réduit des sons qui y sont acheminés. Les sons acheminés directement au bus parent sont traités comme des objets. Le tableau ambiophonique est aussi traité comme un seul objet à canaux multiples.

À l'heure actuelle, il n'y a aucun logiciel d'effet de binauralisation d'objet inclus avec Wwise. Par contre, certaines plateformes prennent en charge la binauralisation d'objets au niveau de l'appareil audio. Par exemple, Windows Sonic. Dans un tel cas, le bus associé à la commande sonore générale hérite de la configuration de l'objet sonore depuis l'appareil audio et le tableau ambiophonique peut être réglé en tant qu'un enfant qui en relève directement.

Consultez Objets sonores – De l'appareil audio système au point de sortie pour en savoir plus au sujet du rôle de l'appareil audio dans le pipeline d'objets.

Comment s'effectue la rotation des représentations ambiophoniques par rapport à l'appareil porté sur la tête?

Habituellement, les données de suivi de la tête pour l'appareil porté sur la tête devraient être acheminées de façon continue vers Wwise par le biais du moteur de jeu en fonction de l'orientation de l'auditeur, selon l'API SetListenerPosition(). Les sons dont le positionnement est réglé en trois dimensions sont attachés à des objets en jeu. Lorsqu'ils sont mixés dans un bus ambiophonique, les angles d'encodage dépendent du positionnement de l'objet en jeu par rapport à l'orientation de l'auditeur. C'est pourquoi le mixage réducteur est composé de sources sonores qui ont déjà fait l'objet de rotations en ce qui a trait à l'appareil porté sur la tête.

Il est possible d'utiliser la spatialisation 3D avec des sources B-format. Dans un tel cas, ces sources sont considérées comme des champs acoustiques et font l'objet de rotations en fonction de l'orientation relative des objets en jeu et de l'auditeur (voir : Sons ambiophoniques en tant que champs acoustiques, ci-dessous).

RV cinématique

Les sons ambiophoniques peuvent faire l'objet de rotations selon un minimum de ressources de la part du processeur et de la mémoire en établissant la matrice de calculs de rotation dans le domaine ambiophonique. Ceci en fait un format idéal pour échanger des informations audio pour la RV. Par exemple, une personne peut créer une scène sonore complète provenant de toute direction, puis l'encoder en tant que signal ambiophonique et le stocker sur un disque avec une station audio numérique compatible avec les sons ambiophoniques (comme Wwise). À la lecture depuis l'appareil de RV, le moteur de lecture n'a qu'à lire les coordonnées de suivi de la tête, à effectuer la rotation du signal ambiophonique pour qu'il vienne de la direction opposée, puis à le décoder et le virtualiser en signal binaural pour écouteurs.

Dans la section précédente, la rotation est effectuée de façon interactive. Vous pouvez aussi utiliser Wwise afin de produire du contenu non interactif (cinématique) pour le RV, en plus de la rotation en fonction du suivi de la tête. Pour ce faire, il suffit de remplacer l'effet de virtualisateur binaural mentionné ci-dessus par un effet Wwise Recorder Effect sur le bus ambiophonique. Le fichier enregistré sera un fichier FuMa ou AmbiX compatible, avec le même ordre que celui du bus. Par la suite, il suffit d'intégrer ce fichier à votre vidéo 360 degrés et laisser le lecteur effectuer la rotation du champ acoustique selon le processus décrit ci-dessus.

Environnements

Ce sont plus ou moins les mêmes considérations qui s'appliquent aux bus auxiliaires pour les effets environnementaux. Actuellement, RoomVerb et Convolution Reverb sont nativement compatibles avec l'ambiophonie. Toutefois, MatrixReverb ne l'est pas. Vous pouvez les utiliser sur un bus stéréo ou 4.0 (ou plus), que vous souhaitiez utiliser des retards antérieur-postérieur ou non, puis les acheminer aux bus ambiophoniques. Les sorties seront encodées en format ambiophonique selon les mêmes règles applicables aux sons 2D. Bien que vous puissiez faire de même avec RoomVerb, vous pouvez aussi l'utiliser directement sur les bus ambiophoniques. Les canaux directionnels consistent en signaux décorrélés, similairement aux configurations multicanaux standards. Les ordres plus élevés rendront plus de canaux décorrélés et, par conséquent, nécessiteront plus de traitement. Nous vous encourageons à expérimenter afin de trouver le juste milieu entre qualité et performance pour vous.

Panoramique ambiophonique en comparaison à VBAP

L'encodage de sources mono dans un tableau ambiophonique peut être utilisé pour des raisons esthétiques. L'algorithme de panoramique par défaut pour sons 3D intégré à Wwise repose sur l'algorithme VBAP omniprésent, qui maximise la précision du son avec une énergie générale constante, au détriment d'une variabilité de la dispersion de l'énergie. C'est-à-dire, la dispersion de l'énergie est minimale lorsque la source virtuelle est alignée avec le haut-parleur et elle est maximale lorsqu'elle se situe directement au milieu d'un arc (pour une configuration en 2D comme le 7.1) ou d'un triangle (pour une configuration en 3D comme le 7.1.4) de haut-parleurs. Par opposition, l'ambiophonie offre une dispersion d'énergie constante indépendamment de la direction de la source et de la disposition des haut-parleurs. Sa dispersion est inversement proportionnelle à l'ordre. Les sons ambiophoniques de premier ordre sont donc très flous. Puisque les sous-mixages ambiophoniques sont automatiquement décodés selon la configuration standard de leur bus parent (comme le 5.1 ou le 7.1.4), l'utilisation d'une technique de décodage ambiophonique complet permet la mise en place du panoramique ambiophonique complet [1] dans Wwise en acheminant les sons 3D vers un bus ambiophonique, puis en acheminant ce bus vers un bus parent avec une configuration standard.

Sons ambiophoniques en tant que champs acoustiques

Les sons ambiophoniques, qu'ils soient enregistrés ou synthétisés, sont idéaux pour intégrer des sons ambiants. Bien que les sons ambiophoniques de rang plus élevé soient habituellement utilisés dans le contexte de la représentation spatiale dans un jeu, les rangs inférieurs sont généralement suffisants pour les sons ambiants. Le blogue L'utilisation de l'ambiophonie pour créer des ambiances dynamiques aborde ce sujet en détail.

Contraction du champ acoustique

Lorsqu'elle est utilisée en tant que champ acoustique avec spatialisation 3D, l'ambiophonie, comme les fichiers à canaux multiples, s'épuisera jusqu'en un seul point source si sa dispersion est réglée à 0, soit son réglage par défaut. Afin qu'il soit entièrement englobé dans le champ acoustique, il faut régler la dispersion à 100 % en ajoutant un ensemble partagé ShareSet d'atténuation au son ambiophonique.

Comme il est expliqué dans L'utilisation de l'ambiophonie pour créer des ambiances dynamiques, lorsque la dispersion est réglée à 100 % et que vous utilisez la position et l'orientation 3D pour la spatialisation, le champ acoustique ambiophonique fera l'objet de rotations en fonction de l'orientation relative des objets en jeu émetteurs et auditeurs, ce qui donnera l'impression que le champ acoustique est lié au monde.

Les sons ambiophoniques représentent des surfaces d'onde s'approchant de l'auditeur, donc les sources constituant le champ acoustique sont toujours à l'écart. Il est donc difficile d'utiliser cette représentation afin d'effectuer une translation dans le champ acoustique. Toutefois, la dispersion peut offrir une approximation de cet effet d'entrée ou de sortie d'un champ acoustique. Une dispersion inférieure à 100 % effectue une contraction du champ acoustique dans la direction de la position de l'objet en jeu émetteur, comme il est expliqué dans l'effet de dispersion. Ceci représente exactement comment Wwise Spatial Audio Rooms traite l'ambiance et la réverbération (voir : Ambiance) :

• Lorsque l'auditeur se situe dans la pièce, la dispersion est près de 100 %, alors que les bus d'ambiance et de réverbération sont liés à l'orientation de la pièce en fonction de la rotation du champ acoustique.
• Lorsque l'auditeur se situe à l'extérieur de la pièce, l'objet en jeu représentant la pièce est positionné au portail le plus près, avec une dispersion inférieure à 50 % qui dépend de l'ouverture du portail. Le champ acoustique se contracte donc vers la position du portail, tout en effectuant une rotation en fonction de l'orientation de la pièce. Lorsque l'auditeur s'éloigne, le champ acoustique se contracte de plus en plus jusqu'à son point source situé au portail.