Lorsque j'écris de la musique pour des jeux vidéo, je me demande toujours comment je peux la rendre plus éloquente pour les joueurs. En tant que compositeur, nous discutons généralement de l'histoire, des émotions, des thèmes, des couleurs et autres éléments créatifs liés aux projets sur lesquels nous travaillons, avec le Directeur Créatif et le Directeur Audio. J'ai aussi tendance à poser des questions sur la façon dont la musique va interagir avec les joueurs.

Je suis un compositeur de formation classique qui aime la musique électronique. J'aime associer de manière unique des musiciens en chair et en os à des traitements numériques. L'une de mes précédentes bandes originales, Remember Me, a été récompensée par de nombreux prix pour son « approche musicale révolutionnaire ». Cependant, une chose qui était aussi importante pour moi que la composition en elle-même, c'était l'approche interactive. 

En bref, pour Remember Me, nous avons enregistré un orchestre de 70 musiciens à Londres et nous avons demandé aux musiciens de suivre les actions du joueur à 140 bpm sur le temps suivant. Si vous êtes Compositeur ou Directeur Audio, ou si vous avez une quelconque expérience en musique de jeux vidéo, vous devez savoir que ce n'est pas facile. Et, bien que le résultat soit remarquable, je me suis promis de ne plus jamais faire quelque chose d'aussi complexe... jusqu'à ce qu'on me présente Get Even.

 

Simon Ashby, VP Produits chez Audiokinetic – Présentation de la ramification de la musique interactive de Remember Me au Game Music Connect (Londres)

Get Even 

Get Even a été développé par The Farm 51, studio de développement polonais, et publié par Bandai Namco. Lorsqu'ils m'ont expliqué le concept du jeu, j'ai été très surpris. Ils voulaient faire un jeu VR qui n'est pas en VR. Ils voulaient faire un jeu de tir / simulateur de balade / jeu d’enquête / jeu narratif. Ils voulaient que les joueurs pleurent à la fin du jeu. Pour moi, cela semblait tellement incroyable que je me suis plongé dans ce travail de tout mon cœur et avec passion.

 

 

 Get Even : Introduction à la musique interactive générée en temps réel 

 

Qu'est-ce que la musique interactive ?

J'ai parcouru le monde entier pour promouvoir la musique interactive auprès des compositeurs, des développeurs et des éditeurs, et pour partager ma vision tout en l'améliorant à partir des expériences des professionnels du secteur que j'ai rencontrés. La plupart de mes échanges m'ont montré que dès que la musique peut changer en fonction des actions du joueur, elle devient « interactive ». D'accord, écrire et produire de la musique (remarquable), et livrer des stems afin de créer des strates musicales semble suffisant, et bien que cela soit probablement très efficace, devons-nous nous contenter de cela, pour toujours ?! J'en doute. Notre média est en constante évolution. Nous l'avons tellement amélioré : L'intelligence artificielle, l'éclairage, la physique, les shaders, et plus encore. Mais pas tant que ça en ce qui concerne la musique. La musique interactive n'en est qu'à ses débuts et j'ai bon espoir que dans les dix prochaines années, nous aurons un éventail d'utilisations beaucoup plus large pour la musique.

Les jeux vidéo se déroulent en temps réel, pourquoi pas la musique ?

Ce qui m’a toujours fasciné dans les jeux vidéo, c’est que le pixel qui bouge sur mon écran est rendu au moment où je le regarde. Il ne vit qu'ici et maintenant, grâce à mes actions. La meilleure analogie en musique serait la musique électronique. Lorsque vous composez à l'aide de synthétiseurs (analogiques) ou d'ordinateurs (numériques), le son est généré en temps réel grâce à l'électricité, au processeur ou au DSP. C'est aussi fascinant pour moi qu’un pixel en mouvement. Nous étions habitués à la musique générée en temps réel dans les tout premiers jeux. Grâce à l'utilisation du chipset sonore inclus dans les systèmes de console, elle suivait l'action bit par bit si nécessaire. Lorsque la PlayStation est apparue avec le lecteur de CD, nous avons perdu quelque chose. La musique est devenue une piste sonore passive jouée en arrière-plan, mais elle était désormais interprétée par des musiciens en chair et en os et le son était incroyable. Des années plus tard, nous avons commencé à créer des strates de musique qui pouvaient changer en temps réel en fonction des actions du joueur, principalement en utilisant le volume. Aujourd'hui, je suis heureux de dire que nous pouvons faire de la musique reposant à la fois sur des enregistrements réels interactifs et sur du contenu généré en temps réel. C'est ce que j'appellerai la Musique Interactive Hybride (MIH).

 

 

Jerobeam Fenderson - Reconstruct - l'album audiovisuel Oscilloscope Music

La Musique Interactive Hybride (MIH) ?

Aujourd'hui, nous numérisons la musique. Une performance en direct, un synthé ou des bibliothèques d'échantillons deviennent une forme d'onde dans un fichier (comme un MP3 ou un WAV). Au fil des ans, nous avons acquis un plus grand contrôle et avons commencé à éditer ces fichiers pour créer des sections multiples (horizontales) et des superpositions (verticales), comme une « introduction », une « boucle » et une « boucle finale », afin d'obtenir plus de flexibilité et de musicalité pour les jeux. Cette approche horizontale et/ou verticale est toujours l'approche générale pour la musique interactive, et, si vous êtes curieux, je peux facilement dire que Wwise vous permet d'obtenir des résultats incroyables comme dans Remember Me, Get Even, et bien d'autres jeux.

Wwise a introduit le MIDI dans son moteur audio il y a quelques années et grâce à son incroyable versatilité, nous pouvons l'utiliser de deux façons différentes. La première consiste à jouer des sons générés par Wwise. Audiokinetic vous fournit quelques synthés de base qui vous permettent de créer de la musique en temps réel (rien n'est enregistré, plutôt généré par le processeur). La deuxième façon est tout aussi intéressante : vous pouvez utiliser Wwise comme un échantillonneur déclenché en MIDI et avec beaucoup de contrôle (ADSR, vélocité, key mapping). C'est vraiment impressionnant !

Maintenant, ce qui est révolutionnaire dans Wwise, c'est la relation entre les fichiers préenregistrés et le MIDI. Vous pouvez les mélanger librement dans l'éditeur de musique. Cela signifie que vous pouvez enregistrer un orchestre et créer un instrument basé sur un synthétiseur qui jouera une ligne de basse en MIDI, et un kit de batterie créé en tant qu'échantillonneur et déclenché en MIDI avec l'orchestre. C'est ce que j'appelle la Musique Interactive Hybride, lorsque la musique générée en temps réel joue aux côtés de segments musicaux préenregistrés.

 

 

Get Even - Exemple de Musique Interactive Hybride

Pourquoi la MIH est-elle si intéressante ?

Prenons l'exemple du tempo. Nous savons tous qu'avec les pistes numérisées, nous ne pouvons pas changer le tempo sans changer leur hauteur (les systèmes de divertissement actuels ne sont pas capables de faire une correction de hauteur en temps réel). Cela signifie donc que vous ne pouvez pas du tout faire varier le tempo. Mais qu'en est-il si, dans un jeu, vous cherchez à fournir un feedback au joueur, et que la meilleure façon de le faire d'un point de vue créatif serait par exemple d'accélérer le tempo de la musique étape par étape en fonction de la distance à parcourir pour atteindre un objectif ou de votre état de santé ? C'est très facile en utilisant la combinaison MIDI + sampler, et RTPC.

Un deuxième exemple serait la dynamique de vos instruments. Vous pouvez créer un instrument, disons un « piano », et le rendre plus doux ou plus fort à chaque note jouée. Cela signifie que vous pouvez créer une dynamique en temps réel en fonction des paramètres de votre jeu, d'une manière très contrôlée mais transparente.

Ces deux exemples ne représentent qu'une petite fraction des nombreuses possibilités offertes par Wwise pour créer de la Musique Interactive Hybride. Vous pouvez faire preuve d'une telle créativité que les possibilités vous sembleront infinies.

 

Get Even - Kick Drum MIDI avec Tempo variable, changement de motif et de vélocité en fonction du RTPC

 

Pourtant, la MIH n'était pas suffisante pour Get Even...

Maintenant que nous avons discuté des capacités techniques fournies par Wwise, revenons à Get Even. Comme je l'ai mentionné précédemment, Get Even est un jeu VR qui n'est pas en VR. Votre personnage porte un dispositif VR pendant toute la durée du jeu. Par conséquent, la première question qui m'est venue est « Comment faire de la musique en VR ? ». C'était vraiment déstabilisant, car j'avais l'impression que la musique ne pouvait pas s'adapter à cette nouvelle expérience. Get Even vous donne une sensation très réaliste, ancrée dans le monde, et la musique donnerait l'impression d'être quelque chose d'abstrait venant de nulle part.

Après y avoir réfléchi pendant un certain temps, j'ai établi une règle : « Toute musique doit commencer par un élément diégétique, pour ensuite devenir abstraite ». Cela donnera aux joueurs l'impression que la musique est liée au monde et n'est pas seulement une illustration en fond sonore.

En tant que compositeur, j'ai toujours voulu écrire des couleurs inattendues et significatives. Chacune de mes bandes sonores présente un son unique un peu « tordu ». J'aime créer l'inattendu pour servir les besoins d'un jeu. C'est le cas avec mon utilisation de Wwise. J'aime l'utiliser d'une manière inattendue, pour créer quelque chose d'unique et de significatif pour le jeu. Il faut que je prenne le temps ici de dire à quel point Audiokinetic est incroyable. Lorsqu'ils ajoutent une fonctionnalité à leur logiciel, ils ne se contentent pas de la mettre au service d’un unique objectif, mais ils la relient à tout ce qui est fourni dans Wwise. Par exemple, tout ce que vous faites avec la musique interactive peut être relié à des émetteurs de sons dans votre propre jeu. C'est tout simplement incroyable ! Je peux jouer une séquence musicale à l'aide de MIH dans le monde 3D du jeu, synchronisée avec une piste préenregistrée en 2D. Cela a ouvert tellement de possibilités et a permis une approche tellement significative pour Get Even.

Résultat final

Il a donc été décidé que chaque situation du jeu devait être soutenue par une utilisation unique de la musique. Cela m'a conduit à créer 17 façons différentes d'utiliser la musique interactive tout au long du jeu, comme l'utilisation de sons diégétiques synchronisés avec de la musique préenregistrée, des drones traités en temps réel par la console, des tambours séquencés en MIDI, le passage de strates musicales 3D à des strates 2D, des liens visuels encore meilleurs avec la musique, etc. Voici une citation tirée de la critique du jeu par The Sixth Axis : « La bande-son d'Olivier Derivière est facilement l'une des meilleures que nous ayons entendues cette année, faisant la transition entre des moments d'effroi, d'émerveillement et d'émotion brute. Écoutez attentivement et vous entendrez comment les bruits de l'environnement - comme la respiration de Cole, le grincement des planches et les tuyaux de gaz - se mêlent à la musique. Elle est composée de manière intelligente et donne l'impression d'être intégrée au jeu lui-même, au lieu d'être superposée comme c'est le cas pour la majorité des bandes originales. » The Sixth Axis

La Musique Interactive Hybride est-elle l'avenir ? PARTIE II - Démonstrations techniques