Branchements opérationnels...

Black Ice VR est une expérience de réalité virtuelle linéaire, passionnante et sombre, qui explore le pouvoir des souvenirs et les dangers qu'ils peuvent représenter.

Les joueurs vivent dans le monde de David, un Memory Slicer (découpeur de mémoire), chargé par une jeune femme nommée Rin de plonger dans son esprit et de supprimer un sombre souvenir. Un souvenir qu'elle n'aime pas partager avec n'importe qui, un souvenir de meurtre. Plus David essaie de l'aider, plus les choses empirent pour eux deux. En fin de compte, il découvre que nos souvenirs font de nous qui nous sommes, et ce que nous sommes.

Ce projet a été conçu et développé au cours d'un programme de résidence de six mois à la University of North Carolina School of The Arts (UNCSA, École des Arts de l'Université de Caroline du Nord), appelé Immersive Storytelling Residency (Résidence de Narration Immersive), accueilli par le Media and Emerging Technology Lab (METL, Laboratoire des Médias et des Technologies Émergentes) de l'université. Au cours de cette période, notre petite équipe, composée d'Arif Khan (scénario/réalisation), de Lawrence Yip (programmation/conception d'interaction) et de moi-même (artiste technique/intégration audio), a créé cette expérience VR narrative et interactive d'environ 25 minutes.

Je ne suis qu'un rat du découpage

En tant qu'équipe, nous avons eu de nombreuses discussions concernant l'histoire à raconter, ainsi que sur son visuel, sur les sensations qu'elle devait susciter, et comment elle devait sonner. Nous avons finalement opté pour un environnement futuriste cyberpunk où les souvenirs et les identités peuvent être altérés et manipulés. Une fois que nous avions décidé de la narration, nous avons voulu donner vie à notre vision d'un futur cybernétique, et le son a joué un rôle crucial à cet égard. La musique, l'ambiance et les indices d'interaction devaient être bien intégrés et donner l'impression de faire partie de l'environnement. La connexion de tous ces éléments audio a été réalisée grâce à Wwise et son intégration dans Unreal Engine.

Comme il s'agissait d'un développement court (environ quatre mois), une grande partie du travail autour des personnages, des environnements, de l'animation / motion-capture et de l'aspect général a nécessité un processus de conception rapide et fluide.

Une grande partie de la direction visuelle de Black Ice VR s'est inspirée des films et séries d'animations japonais en 2D ayant des influences de science-fiction et de cyberpunk. Le cell-shading, les noirs profonds et les palettes de couleurs utilisés au cours du processus de travail puisent leurs sources dans les bandes dessinées, en particulier les panneaux d'affichage avec des palettes de couleurs monochromatiques et bicolores. 

Black Ice VR comporte trois environnements principaux (cinq à l'origine, mais ils ont été réduits pour des raisons de simplicité et pour un meilleur flux narratif). Le premier de ces environnements dans lequel le-la joueur-euse est plongé-e (hormis l'écran de chargement) est le bureau du Memory Slicer, le monde de David.

Le bureau du Memory Slicer a une palette de couleurs bicolore bleu/jaune et doit illustrer l'aspect sombre et lugubre de la ville. Cet espace est également rempli d'appareils technologiques que David utilise pour son travail, avec des lumières et des fils partout. C'est ce que les tons bleus plus clairs et le jaune contribuent à accentuer. David n'est pas un Memory Slicer de haut niveau qui fait payer cher ses services, et nous voulons que l'utilisateur-ice comprenne cela et trouve sa place dans cet espace rapidement, car les choses se déroulent très vite dans cette expérience.

Nous avons travaillé avec des acteurs et actrices talentueux-euses pour donner vie à tous les personnages et PNJ. Concernant les personnages de notre expérience VR, nous avons des personnages entièrement incarnés, des personnages incarnables (nous y reviendrons plus tard), ainsi que des personnages et des voix désincarnés. Le premier personnage que le-la joueur-euse rencontre est l'un de ceux-ci, le compagnon d'IA qui embarque l'utilisateur-ice dans l'expérience et l'introduit au monde. David, le personnage contrôlé pendant la majeure partie de l'expérience, est, pour l'essentiel, également désincarné, à l'exception de ses modèles de mains personnalisées.

L'autre personnage que l'on découvre rapidement est Rin, la protagoniste de Black Ice VR. Elle porte un vêtement d'une seule pièce avec une veste en cuir, une tenue qui permet de donner un indice sur sa personnalité et le monde dont elle est issue. Avec ses yeux cybernétiques jaunes et sa voix jouée par une actrice talentueuse, l'action commence vraiment lorsqu'elle lâche la phrase « Première fois que je me pointe dans l'atelier d'un découpeur de mémoire ». 

En tant qu'équipe, nous avons eu la chance de travailler avec des concepteurs et conceptrices sonores indépendants de talent, Andrew Vernon et Ajeng Canyarasmi, ainsi qu'avec le compositeur Umberto pour nous aider à atteindre nos objectifs de design sonore et fournir une musique émotionnellement forte tout au long de l'expérience.

La plupart des choix de conception sonore et de musique ont été faits entre les concepteurs sonores, le compositeur, et la production, autrement dit l'équipe audio. Nous avons eu plusieurs discussions pour définir le type de monde cyberpunk dont il s'agissait, et cette discussion a été essentielle pour les guider dans leurs choix. Nous devions décider si la direction audio devait s'inspirer du cyberpunk des années 80, qui est beaucoup plus riche en synthétiseurs et en sons « rétro ». Ou bien si elle devait être plus futuriste, plus axée sur la science-fiction et ancrée dans la réalité. En fin de compte, nous avons estimé qu'un monde futuriste mais ancré dans la réalité serait plus évocateur pour des joueurs-euses d'aujourd'hui, et correspondait mieux à l'histoire ; et cette décision s'est ressentie dans la façon dont l'équipe a conçu une grande partie de l'expérience. 

Pour nos personnages incarnables et jouables, nous avons utilisé une combinaison d'effets, de positionnement et de mixage pour bien mettre en évidence le personnage contrôlé dans chaque scène. Pour David, cela signifiait créer une sensation d'une « voix provenant de sa propre tête ». Nous avons appliqué des filtres pour obtenir une tonalité plus nasale et plus profonde, afin de montrer que la voix entendue par le-la joueur-euse est la sienne, et qu'elle provient de sa position, de sa tête. Pour le personnage de l'IA, la situation est similaire, mais les voix proviennent du casque de David et sont entendues directement dans son oreille.

Afin de faire un suivi clair de tous nos assets de VO, nous avons utilisé Wwise pour mettre en place notre organisation. Comme je l'ai déjà mentionné, ce projet nécessitait d'avoir un workflow très fluide, et Wwise était l'outil parfait pour interchanger facilement les anciens effets sonores et assets de VO temporaires avec de nouveaux assets.

Il existe un élément audio plus expérimental qui n'a pas été entièrement implémenté dans la version finale de l'expérience VR. Cet élément concerne l'ambiance procédurale. Elle a été supprimée car il a été décidé qu'un récit linéaire ne bénéficierait pas pleinement d'avoir un audio plus aléatoire et procédural, du point de vue de la conception sonore. Cependant, on retrouve quelques exemples de ce système en fonctionnement dans l'expérience VR, avec l'ambiance météorologique (tonnerre et pluie) dans l'environnement du bureau du Memory Slicer. Ce système a utilisé un mélange de Blend Containers et Random Containers dans Wwise afin de créer des variantes de météo. Les Ak Events qui en résultent ont également utilisé le positionnement sur leurs sorties finales.

Dans Unreal Engine, les Ak Events associés à la météo étaient générés dans la scène par une série de Spawn Points et d'éléments aléatoires créés par un système de génération procédurale en Blueprint. Au départ, ce système a été dupliqué et utilisé pour générer des sons en mouvement tels que des voitures ou des sirènes passant à toute allure, des personnes marchant à l'extérieur, et des voitures volantes se déplaçant en hauteur. Cependant, la plupart de ces éléments ont été réduits dans la version finale.

Prendre la Black Ice 

Le deuxième environnement majeur est l'espace mémoire modifiable, où se déroule une grande partie des éléments interactifs de l'expérience. Il s'agit du monde de Rin, et son subconscient, ainsi que son expérience passée des événements ayant conduit au meurtre, sont révélés ici ; et comme c'est son espace et qu'il est le pivot de son voyage narratif, il reflète les étapes de son voyage émotionnel. Visuellement, cette version de son espace mémoire est censée avoir un ton nettement différent de celui du bureau de David. Bien qu'il s'agisse toujours d'un espace sombre, il est rehaussé de tons vert néon afin de donner l'impression d'une scène de rue extérieure éclairée au néon, et s'inspire fortement des images d'arrière-plan du film d'animation Akira, également du genre cyberpunk.

Lors de nos discussions concernant les interventions possibles avec le-la joueur-euse dans un récit linéaire, nous sommes arrivés sur quelques interactions originales et amusantes. Comment faire pour que les interactions des utilisateurs-ices aient du sens et restent authentiques pour l'histoire ? Chacune de ces interactions comportait également des composantes sonores importantes. Les émotions et sensations interactives sont intimement liées à la conception sonore de l'interaction. L'une de ces interactions, qui ont toutes été créées dans le moteur de jeu par notre brillant programmeur, est ce que nous avons appelé la « mécanique d'incarnation ». D'un point de vue narratif, pour que David puisse modifier et interagir avec un souvenir, il doit d'abord incarner une personne qui était présente à ce moment / dans cette mémoire. Dans l'expérience VR, cela se traduit par des orbes flottant autour d'une pose dynamique que le-la joueur-euse doit prendre pour progresser dans l'histoire. 

Mais à quoi cela ressemble-t-il de « plonger » à l'intérieur de quelqu'un d'autre ? Compte tenu de nos conversations sur la direction du design sonore, et l'importance des thèmes de la technologie cybernétique dans le monde cyberpunk, nous avons décidé que ce processus devait avoir une sensation électrique. Mais comme nous habitons un autre être organique, il faut aussi que ce son soit un peu organique. Pour pouvoir intégrer ces sons au processus d'incarnation, l'interaction a été conçue de manière à avoir des « zones interactives » autour des mains et de la tête de la personne incarnée. Ces zones sont programmées pour déclencher des événements sonores spatialisés lorsque la tête et les mains du-de la joueur-euse correspondent à la position de la pose d'incarnation.

Pour illustrer le voyage émotionnel et physique de Rin, cet espace est divisé en zones d'activité, chacune ayant un thème émotionnel. Au fur et à mesure que le-la joueur-euse est entraîné-e dans cette section, la conception sonore est devenue essentielle pour montrer ce que Rin voyait, entendait et ressentait à ce moment-là. Ces zones ont été séparées en trois : Voiture, Netrunner et zone de Meurtre. La zone de la voiture est censée évoquer une « montée d'adrénaline » et constitue le préambule au moment sombre de Rin. L'équipe audio a conçu une bande sonore mélangeant sons et musique afin d'accompagner et d'interagir avec les animations et les effets de la séquence. Sa temporalité augmente en crescendo jusqu'à sa conclusion. Comme toutes nos scènes, une grande partie de l'effet a été obtenue grâce à l'utilisation d'Ak Events de Wwise (avec diverses caractéristiques) et du séquenceur d'Unreal Engine. 

La zone Netrunner vise à créer un sentiment d'accablement et d'impuissance. D'un point de vue audio, elle présente une polyphonie de textures sonores, avec de nombreuses voix qui parlent et crient les unes sur les autres et qui se succèdent rapidement. Le-la joueur-euse est placé-e en plein milieu de tout cela et devient participant-e actif-ive de l'inconfort de Rin. La dernière zone, celle du meurtre, vise à créer un moment d'intimité et de suspense pour Rin, et la direction musicale illustre bien ce moment.

Tout détruire

Le troisième environnement exploré est la « Mémoire de Destruction ».  Cet espace est défini par le chaos et l'instabilité. À ce stade, Rin est devenue émotionnellement instable et hostile envers David et exige qu'il fasse tout ce qui est nécessaire pour effacer ce sombre souvenir de son système. La Mémoire de Destruction s'inspire visuellement d'illustrations monochromes/bicolores de scènes de guerre et de destruction que l'on trouve dans les bandes dessinées. Ainsi que, à nouveau, en s'inspirant fortement d'Akira. Les teintes et les nuances de rouge sont destinées à évoquer un sentiment de danger et les objets interactifs jaunes sont colorés de la même manière pour compléter thématiquement la direction visuelle, tout en permettant à ces objets de se distinguer visuellement comme éléments interactifs.

De la même manière que David est incertain des ramifications d'une action aussi radicale, l'environnement présente, lui aussi, une stabilité incertaine, tout comme son ancrage dans une quelconque forme de réalité. À ce stade de l'histoire, il est simplement question de s'amuser et d'utiliser un pouvoir destructeur, et de créer un sentiment d'urgence et de malheur imminent pour le-la joueur-euse. Le son et la musique de cet espace illustrent parfaitement ces idées, avec leurs sonorités de brisures et craquements, leurs sons mécaniques, et leurs textures de sons de glitchs jouant sporadiquement. Les sons et les voix du passé, du présent et de l'avenir de Rin s'entrechoquent de manière vraiment chaotique, ce qui est accentué par les animations et l'éclairage dynamique.

Conclusion

La première mondiale de Black Ice VR a eu lieu au festival South by Southwest (SXSW) 2022.

Si vous voulez en savoir plus sur le projet et son équipe, consultez notre site à l'adresse www.blackicevr.com.

Je tiens à remercier tout particulièrement Ryan Schmaltz, Karine Fleurima, Stacy Payne et toute la cohorte du programme Immersive Storytelling Residency du METL. Je tiens également à remercier les mentors qui nous ont aidé tout au long du développement de ce projet.