« Tell me Why » est sorti sur Xbox et PC et il supporte entièrement le son surround 5.1. Travailler sur un jeu narratif implique d’avoir une approche spécifique concernant le mixage final. Nous ne pouvons pas nous contenter d'une approche uniquement systémique, car chaque cinématique ou moment narratif est unique et transmet au joueur une émotion particulière. Nous avons dû constamment adapter l’audio pour que le joueur se sente à l'aise et ne soit pas dérangé par quoi que ce soit.   

Méthode de travail pour le mixage 

Cette approche présente certaines similitudes avec le mixage linéaire pour le cinéma. Nous avons essayé de plonger pleinement dans le processus de mixage pour apporter le plus de détails possible.

Avant d'aller plus loin, regardons une séquence de jeu qui illustre l'ensemble des points mentionnés ci-dessous.

Vue d'ensemble de la méthode de travail pour les cinématiques 

Nous voulions avoir autant de liberté que possible dans nos décisions de mixage. Nous avons décidé de travailler avec une méthode à base de stems, avec les structures suivantes. 

Cette méthode de travail nous a permis d'être extrêmement flexibles et de réduire les allers-retours fastidieux entre Reaper et Unreal, car nous avons pu régler les niveaux sonores, l'égalisation et la réverbération par stem directement dans le moteur audio.

Gestion des footsteps durant les cinématiques 

Les footsteps pour les cinématiques ont été gérés directement à partir de l’Animation Sequence d’Unreal. Un outil personnalisé nous a permis de générer des « UE Notifies » lorsque le pied touche le sol.

Cette notification détecte le matériau du terrain et déclenche le Switch matériau du footstep correspondant. Grâce à cela, nous n'avons pas eu à synchroniser les pas manuellement dans Reaper. Tout ce que nous avons eu à faire a été de définir le bon Switch de mouvement et de supprimer les notifications indésirables si le moteur de jeu détectait trop de collisions.

Piste RTPC dans le Sequencer d'Unreal 

Dans l'exemple vidéo ci-dessus, vous pouvez entendre le volume de l'horloge augmenter tandis que le stress d'Alyson s’amplifie. Dans ce genre de situation, nous avons préféré utiliser une fonctionnalité qui nous permet de contrôler le niveau de n'importe quel bus directement dans le Sequencer.

Nous pouvons utiliser la courbe disponible dans Unreal pour créer une automation précise dans une cinématique. Dans Wwise, le RTPC est configuré pour correspondre à des valeurs absolues en dB, nous n'avons donc pas eu à nous préoccuper de conversions compliquées à effectuer en dB. Nous avons beaucoup utilisé cette fonction dans les bus d'ambiance et de musique pour améliorer la « présence » des dialogues ou pour créer une tension, comme mentionné ci-dessus

Maintenir la cohérence des dialogues. 

Comment gérer plusieurs types de dialogues différents ?

Les dialogues sont au cœur de l'expérience de « Tell Me Why » et le joueur apprendra de nombreuses informations indispensables et précieuses au cours de cette expérience.  

Il y a quatre types de dialogues dans le jeu :  

Cinématiques : Dialogues joués pendant les scènes cinématiques. Le joueur n'a pas le contrôle des déplacements du personnage ni de la caméra. 

Inspecteur : Le joueur ne peut pas se déplacer librement. Il peut toujours contrôler la caméra et interagir avec les objets, mais il devra quitter l'inspecteur pour se déplacer à nouveau librement dans l'univers du jeu. 

Exploration : Le joueur a un contrôle total sur les déplacements et sur la caméra. 

Bond :  Les dialogues liés aux souvenirs de Tyler et d'Alyson. 

Ces quatre types de dialogues ont nécessité plusieurs systèmes d'intégration dans le moteur de jeu. Nous avons dû trouver les paramètres Wwise appropriés pour que tous les dialogues aient la même sonorité tout au long du jeu. 

Cinématiques et inspecteur 

Dans « Tell Me Why », beaucoup de transitions entre les phases de gameplay et les cinématiques s’effectuent de manière fluide. Nous devions trouver un compromis entre la 2D et la 3D pour éviter une différence trop marquée entre ces deux types de mode de jeu.

Nous avons utilisé une spatialisation en mode Balance-Fade contrôlée par un paramètre intégré d'azimut afin de modifier la panoramique frontale de l'audio concerné. Cela a permis de couvrir la plupart des situations du jeu.

Mais il était parfois nécessaire d’ajuster la valeur min/max de panoramique pour mieux s'adapter à la taille de l'image de certains plans de caméra spécifiques.

Vous pouvez entendre un exemple de valeur de panoramique ajustée dans l'exemple vidéo à 1min12. Lorsque les dialogues du policier sont de plus en plus modifiés, nous avons également décidé de créer un effet de hardpanning sur la voix en temps réel.

Exploration

Nous avons choisi de définir tous les dialogues d'exploration en 3D aussi bien pour l'IA que pour le joueur. Cela aide le joueur à situer les IA et les PNJ avec précision et réalisme dans l’environnement. Pour ce faire, nous avons également réglé la configuration des canaux sur 5.1.

En ce qui concerne le filtrage de la courbe d’atténuation, nous avons préféré utiliser un EQ paramétrique avec un high-shelf pour gérer l'atténuation des hautes fréquences par rapport à la distance. Nous n'avons utilisé le filtre LPF que pour l'occlusion car la pente du LPF de Wwise fonctionne très bien pour ce type de feedback.

 

Dans certaines situations, nous avons également décidé de traiter les dialogues du PNJ lorsqu'il se trouve derrière l'auditeur. Lorsque le PNJ est positionné derrière l'auditeur mais qu’il est proche, nous pouvons l'entendre même s'il n'est pas à l'écran. De notre point de vue, cela peut sembler inhabituel et dérangeant. C'est pourquoi nous avons choisi de traiter les dialogues des NPC avec un volume et un niveau d'envoi de réverbération tous deux contrôlés par un RTPC d’Azimuth.

Bond 

Les dialogues des séquences de Bond ont été traités en temps réel dans Wwise pour faciliter la gestion du nombre de lignes de dialogues, présents en 5 langues dans le jeu. Nous devions trouver un traitement qui pouvait facilement s'adapter au large spectre audio de tous ces différents fichiers.

La deuxième raison pour laquelle nous avons procédé en temps réel est que les dialogues des séquences de Bond se produisent le plus souvent pendant des phases de gameplay. L'intelligibilité des dialogues est une propriété modulée par la mécanique du Bond, et nous devions modifier les dialogues en temps réel lorsque le joueur se trouvait hors d'une zone spécifiée dans le code.

 

Nous nous sommes retrouvés avec une légère réverbération et des délais. Une fois encore, nous avons utilisé nos jolis LFO sur les volumes des signaux dry et wet afin d’apporter plus de variations aux effets.

Comment faire pour que le joueur ne soit pas dérangé pendant les moments intimes ? 

Comme les ambiances jouées pendant les cinématiques sont les mêmes que pendant les phases de gameplay, nous avons souvent dû faire face à des effets aléatoires indésirables pendant les cinématiques. Personne n'a envie d'entendre un son de corbeau ou de tronçonneuse pendant un moment intime entre Alyson et Tyler. Pour éviter ces cas de figure, le code envoie à Wwise un State qui définit si le joueur est dans en cinématique ou non. Ensuite, nous utilisons ce State sur le volume pour supprimer les sons indésirables pendant les cinématiques.

Un autre problème récurrent pendant les cinématiques est l'incohérence du volume des sons 3D et des beds d'ambiance durant les plans se déroulant à l'envers.

Nous disposions d'excellents outils pour gérer cela.

Le premier est une piste dédiée dans le Sequencer d’Unreal qui nous permet de figer la position du Listener pendant les cinématiques. Celui-ci conserve sa position et sa rotation même si la caméra s'éloigne.

Mais parfois, certaines cinématiques exigent que le Listener suive la caméra comme à son habitude. Dans cette situation, nous utilisons le state de cinématique mentionné ci-dessus pour contrôler un RTPC qui changera dans Wwise le ratio du paramètre Speaker panning. Cette astuce nous a permis de sélectionner les sons que nous voulions spatialiser pendant les cinématiques. 

Confinement et validation du mixage dans un environnement domestique  

Le confinement dû à la pandémie a, bien sûr, été un problème important pendant le développement de « Tell Me Why », car nous avons passé trois mois à travailler dans un environnement domestique au lieu de notre salle de mixage. Nous avons dû réfléchir à une solution alternative qui nous permettrait d'être prêts pour la session de mixage final.

Nous effectuons généralement le mixage final avec des haut-parleurs calibrées à 75 dB SPL. Bien que cette valeur soit adaptée aux studios professionnels, 75 dB SPL est un volume trop fort pour votre voisinage ou les personnes vivant dans le même appartement que vous. Utiliser des écouteurs n'était pas envisageable pour les raisons que nous connaissons tous. De fait, nous avons pris le risque de nous fier principalement au Loudness Meter de Wwise.

Nous avons décidé de surveiller le plus souvent possible l'intensité sonore de nos quatre bus principaux en même temps. Le Loudness Meter de Wwise vous permet de choisir quel bus vous voulez analyser, c'est donc un excellent moyen de vérifier si les ambiances et les dialogues entre différentes scènes restent cohérents. Cette solution alternative ne remplace pas une séance de mixage complète, mais elle permet d’aborder le mixage final avec sérénité. Cela nous a aidé à peaufiner le mixage final à la fin du confinement.

 

Mastering 

Plage dynamique 

« Tell me Why » est un jeu où la dynamique audio a été difficile à gérer. De nombreux environnements sont très calmes et nous ne voulions pas utiliser trop de compression sur les dialogues pour conserver toutes les variations subtiles du jeu d’acteur. Les environnements calmes comme les roomtones ou les beds d’ambiance de vent sont faciles à gérer lorsqu'on les écoute sur des gros haut-parleurs de studio. Mais nous avons remarqué que les réglages effectués sur notre matériel de studio n'étaient pas adaptés à des petits haut-parleurs de télévision.  

Nous avons décidé au début de la production d'essayer de trouver un moyen de conserver nos intentions malgré la variété de configurations audio les plus courantes que peuvent avoir les joueurs. Nous avons utilisé un système très simple basé sur des States pour modifier le volume et le seuil de compression de nos principaux bus. Le but n'est pas seulement de modifier le niveau de ces principaux bus, mais aussi de contrôler la dynamique de chacun d'eux et de changer l'équilibre entre eux. 

Ce système nous a permis par exemple d'augmenter le volume de l'ambiance uniquement sur une petite configuration de haut-parleurs. Le joueur n’a plus qu’à sélectionner sa configuration de haut-parleurs dans le menu des options. 

Trois configurations de haut-parleurs sont disponibles :  

Faible : Convient aux haut-parleurs intégrés du téléviseur. 

Moyen : Convient aux haut-parleurs de taille moyenne, comme les barres de son hi-fi pour téléviseurs ou les petits kits de son 2.1. 

Élevé : Convient aux haut-parleurs de grande taille, en particulier pour les installations surround.

Voici un exemple de variations de volumes de bus en fonction des options de plage dynamique :  

Voici un exemple de variations du seuil du compresseur :  

En outre, nous proposons un Headphone Mode qui modifie la règle de panoramique par défaut et ajoute une spatialisation plus précise de certains sons liés au Bond en utilisant la fonctionnalité Speaker Panning. 

Downmix de surround à stéréo 

Un autre problème courant auquel nous devons faire face est la différence de perception que nous avons ressentie entre les configurations surround et stéréo, tout particulièrement en ce qui concerne la réverbération et les ambiances. 

Lorsque nous travaillons en surround pour des jeux, nous avons tendance à envoyer beaucoup de signal audio dans les canaux arrière pour accentuer l'immersion. Mais cela a pour conséquence d’avoir trop de signal audio dans les haut-parleurs avants lorsque la plateforme matérielle effectue elle-même le downmix. 

Les plateformes Windows 10 et Xbox utilisent les coefficients de downmix standards de l'UIT, comme on peut le voir dans le schéma suivant : 

Pour « Tell Me Why », nous voulions mettre ces recommandations de côté et essayer d'appliquer des coefficients personnalisés sur les bus fortement affectés par le downmix, comme le bus de réverbération et le bus d'ambiance. Grâce à cette fonctionnalité, nous n'avions plus à nous soucier du downmix stéréo. 

Nous avons utilisé la fonction GetSpeakerConfiguration de Wwise pour détecter automatiquement si la plateforme fonctionne en 2.0 ou en surround 5.1 / 7.1. Ensuite, cette information est transmise à un State qui contrôle la propriété que nous voulons modifier. Ce système fonctionne en temps réel, il suivra donc tous les changements que le joueur fera sur son matériel.  

Pour perfectionner ce système, nous avons développé un plug-in personnalisé pour gérer les canaux discrets d'un bus. Nous n’avons qu’à insérer le plug-in sur le bus que nous voulons traiter et appliquer des atténuations de volume. Dans l'exemple suivant, nous avons appliqué une atténuation de 12 dB sur les canaux arrières de notre bus de réverbération.  

 

Les mesures suivantes effectuées en temps réel montrent que nos coefficients personnalisés nous ont aidés à réduire la surcharge de volume lors des situations les plus défavorables, lorsqu'un signal surround est fortement alimenté par les canaux du centre et arrières. 

LOUIS MARTIN Responsable Audio | Tell Me Why DONTNOD Louis Martin travaille dans l'industrie du jeu vidéo depuis plus de 13 ans. Il est Responsable Audio chez DONTNOD et a travaillé sur « Remember Me », « Life is Strange », « Vampyr » et plus récemment sur « Tell Me Why ». Avant de rejoindre DONTNOD, Louis était concepteur audio pour Ubisoft et a travaillé sur des projets tels que « Ghost Recon Future Soldier ». soundcloud.com/hellooomister