Le concept derrière Project Echo

« Project Echo » est une expérience audiovisuelle immersive imaginée par Beso Kacharava, artiste sonore et fondateur de POSTRED. Il s'agit d'un projet captivant qui propose aux visiteurs un voyage à travers les étranges méandres de leur subconscient. Votre Echo vous accompagne tout au long de cette expérience. Echo est un compagnon énigmatique et informe, qui peut évoquer des rencontres fictives venues d'un autre monde, comme celles de Twin Peaks, Annihilation ou Arrival.

Le concept de Project Echo est né il y a longtemps dans l'esprit de Beso Kacharava. Son ambition était d'offrir aux visiteurs une occasion unique d'entrer en contact avec leur être intérieur. L'idée a pris de l'ampleur après la collaboration de POSTRED avec la ville de Tbilissi lorsque celle-ci a été désignée capitale mondiale du livre par l'UNESCO en 2021, comme l'explique Beso. « Cette opportunité a été un catalyseur qui m'a permis de concrétiser cette idée en un projet réel. J'ai cherché à utiliser divers moyens artistiques pour donner vie à ce concept, en mettant l'accent sur la création d'un espace intime où chacun pourrait se reconnecter à soi-même ».

Project Echo repose sur une structure originale dans laquelle les visiteurs traversent une série de « rondes » (« rounds ») génératives, chacune combinant images et paysages sonores—les « pistes ». Chaque piste a été conçue pour entrer en résonance avec le visiteur, en évoquant potentiellement des émotions, des souvenirs ou des sensations.

Entre chaque ronde, le voyage ramène le visiteur dans la « Chambre d'Echo » (« Echo's chamber ») - où Echo, logé en son centre, lui pose une question, une énigme (« riddle »). Il doit alors choisir une réponse sur une tablette, ce qui détermine le déroulement de la suite du voyage et le conduit à la ronde suivante. L'environnement se transforme ensuite en une nouvelle scène.

Lors de la huitième ronde, le voyage s'interrompt brutalement et Echo réapparaît, cette fois sous une forme plus sombre, reflet de l'abîme intérieur. Cette version sombre d'Echo (« Shadow Echo ») est, en quelques sortes, une référence à l'archétype de l'Ombre selon Jung, aux ténèbres lovecraftiennes ou encore aux univers inquiétants de Stephen King. En répondant à la question d'Echo, le visiteur accède à la neuvième ronde.

À cette dernière étape, le visiteur vit une forme de renaissance symbolique, qui s'achève par un retour au point de départ. Une fois la boucle refermée, le voyage se réinitialise et accueille un nouveau visiteur. Cette structure cyclique favorise les visites répétées et garantit une expérience inédite à chaque passage.

Project Echo - Bande-annonce pour la Capitale mondiale du livre de l'UNESCO 2021 à Tbilissi (Vimeo)

Impact

Depuis son lancement, Project Echo a été chaleureusement accueilli par les visiteurs, nombreux à avoir qualifié l'expérience de bouleversante et d'intense sur le plan émotionnel. La demande pour ce genre d'expérience a été évidente, comme le prouvent les créneaux horaires qui se sont rapidement remplis et le calendrier de l'exposition resté complet pendant toute la période prévue. L'affluence a été telle que l'exposition a dû être prolongée d'un mois pour répondre à l'enthousiasme du public.

La durée de chaque visite dans l'installation a énormément varié. Alors que certains ne restaient qu'une dizaine de minutes, d'autres étaient si absorbés qu'ils pouvaient s'attarder jusqu'à quarante minutes. À notre grande surprise, et pour notre plus grand plaisir, certains visiteurs ont été si touchés par Project Echo qu'ils en sont ressortis les larmes aux yeux.

Réalisation technique

Celle-ci devait permettre aux visiteurs de s'immerger dans l'installation conformément à sa signification et son objectif. Mais avant de commencer à travailler, nous devions trouver l'environnement idéal pour lequel nous allions plus tard concevoir les sons et les images. Nous avons donc installé d'immenses miroirs dans l'une des pièces d'Artarea, à Tbilissi, en Géorgie, qui servirait de Chambre d'Echo où chaque visiteur s'installerait sur un canapé très confortable, entouré d'un système audio circulaire à 7 haut-parleurs et d'un caisson de basse. Les miroirs ont constitué le point de départ de la conception des visuels, et nous voulions qu'ils renforcent la sensation de profondeur et de dimensionalité vécue par les visiteurs. De fait, ils devaient s'ajuster et se connecter parfaitement. Ce fut une tâche très difficile pour l'équipe chargée de leur installation.

Le prototype technique de Project Echo, réalisé par le concepteur sonore George Murghulia avec MaxMSP, a été très utile au début du développement du système technique, mais nous avons finalement opté pour Unity 2021 + Wwise. Cette combinaison offrait davantage de possibilités pour créer des systèmes audiovisuels plus complexes.

L'expérience du visiteur commence par le mode d'attente (« waiting room »). Les sons et les images sont synchronisés et préparent le visiteur pour la suite. La sélection de la langue sur la tablette déclenche le début de l'expérience. Cela conduit le visiteur à la Chambre d'Echo, où Echo pose une question au visiteur qui, en y répondant, entre dans la ronde correspondant à la question.

Chaque ronde dispose de son propre ensemble de sons jouables dans Wwise et de visuels dans Unity, qui interagissent de manière dynamique et générative. Le concept de Voyage du Héros a inspiré la progression de l'expérience entre chaque ronde ainsi que la sélection des émotions que chaque ronde devait représenter.

Après avoir traversé chaque ronde et vécu la renaissance finale, le programme revient en mode d'attente, signalant la fin de l'expérience. Cependant, les visiteurs ont la possibilité de revivre l'expérience sans quitter la pièce.

« L'un de nos défis consistait à créer des transitions fluides entre les différentes scènes sans perturber l'immersion des visiteurs et en soulignant l'importance de leurs choix, qui ne devaient pas être perçus comme bons ou mauvais », comme l'explique George Murgulia. Nous parlerons plus loin des sons permettant de contrôler les images et qui ont contribué à créer des transitions percutantes entre les différentes rondes.

L'approche audio

Nous avons créé tous les systèmes audio dans Wwise, en utilisant un support immersif multicanal personnalisé, adapté à l'environnement particulier de l'installation et à son système de haut-parleurs circulaires.

Chaque son devait transporter les visiteurs dans un lieu spécifique et entrer en résonance avec eux. Le défi consistait à concevoir et préparer une sélection de sons et de couches sonores pouvant fonctionner ensemble de manière convaincante, tout en conservant une dimension générative. « Les sons devaient être suffisamment précis pour évoquer chez le public des sons spécifiques entendus au cours d'une vie, tout en étant assez ambigus pour convenir à des personnes de divers horizons », comme l'explique Beso Kacharava. L'équipe a opté pour des environnements familiers tels qu'un bord de mer, un stade, un avion ou un métro, mais aussi pour des environnements plus originaux et rares, comme une mine ou une ville futuriste.

L'objectif était de créer une atmosphère dynamique et expressive. Beso et son équipe ont donc abordé cette création comme s'ils concevaient des sons pour des environnements de jeux vidéo. Nous avons commencé par une structure sonore comportant des « boucles d'ambiance » et des centaines de couches sonores, représentant des sons spécifiques comme des passages de voitures, des chant d'oiseaux, des appels, des cris, etc.

Un autre défi consistait à déterminer la périodicité appropriée des sons. L'équipe a exploré différentes idées avant d'opter pour une approche générative contrôlée dans Wwise. « Écouter des ambiances réelles de forêt tropicale m'inspire de manière méditative », explique Beso Kacharava, l'auteur du projet. « Vous commencez à percevoir des motifs entre les chants d'oiseaux, les vagues de vent et les gouttes de pluie frappant les surfaces ; en comprenant cela, on peut aller au-delà de la simple attribution aléatoire d'intervalles entre les sons : la magie commence lorsqu'on trouve le bon équilibre entre "hasard contrôlé" et sons adéquats. De cette manière, l'environnement entre en résonance avec les auditeurs ». Avec cette approche, nous avons dû réfléchir à la façon dont les éléments environnementaux fonctionneraient en dehors du DAW avant d'implémenter les sons. En effet, les relations entre les motifs peuvent facilement se perdre dans la randomisation.

Prenons l'exemple simple d'aboiements de chiens qui contribuent à la signature sonore d'un village. En général, un chien commence à aboyer, et tous les autres suivent. Vous avez deux options pour recréer cela dans Wwise : soit vous créez des séquences de groupes de chiens qui aboient, les enregistrez en fichiers et les exportez dans Wwise, soit vous décomposez la logique de l'interaction sociale des chiens pour la reconstituer ensuite. Les deux méthodes sont valables ; cependant, même si elle est plus complexe, la seconde pourra sonner plus réaliste.

Pour la réaliser, nous avons besoin de Random Containers contenant eux-mêmes d'autres Random Containers d'aboiements de chiens. Même si les sons des Random Containers doivent être courts, ils peuvent inclure plusieurs aboiements pour une meilleure impression de cohérence, et peuvent même constituer de petites séquences ; autrement dit, à la fois les plus petits et les plus réalistes ensembles d'aboiements possibles.

Après avoir préparé les Random Containers, nous allons créer différentes séquences pour les aboiements de chiens. N'oubliez pas qu'il y a toujours un chien plus malicieux que les autres pour déclencher le chaos. Par exemple, dans cette simulation, les 4 chiens sont séparés par un délai de déclenchement (randomisé jusqu'à 3 secondes), ce qui donne l'impression que de vrais chiens aboient dans un village.

En expérimentant et en nous laissant guider par notre ressenti, nous pouvons créer des séquences qui seront déclenchées aléatoirement en tant qu'éléments de l'environnement sonore du village.

Nous pouvons faire la même chose avec les oiseaux.

Il est important qu'une source individuelle (un chien, un oiseau ou un grincement) ne disparaisse pas après avoir produit un son, afin que le paysage sonore reste cohérent. 

Approche musicale et conception d'une bibliothèque sonore

La musique de « Project Echo » a été composée par Zviad Mgebry. Il a cherché à produire une musique centrée sur les timbres et les émotions, plutôt que de s'en tenir à un genre particulier. « J'ai été inspiré par le concept de liberté ; j'ai voulu créer une forme musicale qui, tout en s'adaptant aux décisions des visiteurs, conserve une impression de naturel », explique Zviad.

Pour ce projet, nous avions besoin de créer un langage musical et des timbres capables de s'harmoniser parfaitement avec les sons et les images. Pour cela, Zviad a collaboré avec l'équipe interne de développement d'outils audio de POSTRED pour concevoir un instrument de musique virtuel baptisé Echo Toolkit.

Nous avons conçu deux types d'instruments pour cet outil audio : les instruments fixes et les instruments procéduraux. 

• Les instruments fixes étaient programmés pour suivre des règles précises et pouvaient être joués de façon expressive. 
• Les instruments procéduraux, à l'inverse, généraient des sons à partir d'algorithmes et de paramètres variables. 

Pour créer l'Echo Toolkit, nous avons utilisé le sampler Kontakt pour le prototypage, et avons décidé de le conserver jusqu'à la fin en raison de ses solides capacités de script et de modulation. « Je voulais transformer les instruments traditionnels en quelque chose de nouveau, afin de créer des instruments rappelant le xylophone. Imaginez que, plutôt que de jouer un unique tambour Taiko comme instrument de percussion, vous pouviez en jouer une mélodie sur toute l'étendue du clavier », explique Zviad.

Mon idée initiale était d'utiliser des algorithmes capables de s'adapter naturellement aux choix des visiteurs et de générer une bande musicale dynamique. Mais vous savez comment évoluent les projets d'art expérimental, surtout quand des projets plus ambitieux ont des besoins pressants. Finalement, nous avons opté pour une approche plus sûre, tout aussi efficace, mais capable de fonctionner « sans trop d'efforts » - avec moins de risques. Nous avons donc échantillonné en profondeur la sortie audio de l'Echo Toolkit dans diverses conditions, puis avons émulé son comportement dans Wwise.

Au départ, Zviad avait spatialisé les sons dans chacun des sept haut-parleurs, mais il a ensuite changé d'approche en animant les sons et les instruments à travers le champ sonore. L'acoustique de l'espace d'Echo étant déjà excellente, nous n'avons pas eu besoin de recourir à des réverbérations supplémentaires. 

Approche pour les visuels dynamiques

Recherches et expérimentations pour concevoir les visuels d'Echo

Luka Lebanidze raconte l'expérience de son point de vue : En tant que responsable technique de Project Echo, je voulais que l'expérience soit à la fois unique et parfaitement naturelle. Dès le début, j'ai su que je devais trouver une méthode qui permette de fusionner les visuels et l'audio de manière totalement intégrée.

Dans le monde de l'audio, tout le monde est habitué à voir des images animées qui réagissent de manière procédurale au son : des courbes, des particules, des vu-mètres et des ondes. En tant qu'artistes sonores, nous les voyons partout : dans les applications musicales, les plugins, le matériel audio ou encore les jeux vidéo. Même si ces éléments visuels sont devenus courants, ils n'en restent pas moins fascinants et esthétiques. Cette nature organique des formes d'onde m'a toujours captivé ; ces dernières années, j'ai découvert le genre musical de l'oscilloscope - une musique où les sons créent littéralement des images. Inspiré par les choses fascinantes et folles que font les artistes de ce domaine avec des sons, des lasers et des oscilloscopes, j'ai décidé de m'y essayer comme un simple passe-temps de geek, et je suis heureux de l'avoir fait.

En jouant, j'ai remarqué quelque chose qui m'a toujours fasciné. Lorsque vous observez un oscilloscope, que vous combinez deux signaux et que vous les accordez selon différentes combinaisons, il est possible de percevoir visuellement les fluctuations de leur interaction. 

Parfois, c'est le chaos, mais dans d'autres cas, lorsque vous tombez sur une « zone optimale », l'image vibre et danse de manière hypnotisante. Ce que vous entendez correspond à ce que vous voyez. 

Dans la vidéo suivante, vous pouvez voir que le signal n.1, qui dessine un cube, est fixé à une fréquence de 55 Hz, ce qui correspond à un La ; lorsque nous commençons à accorder lentement le signal n.2, qui ressemble à une pyramide, l'image carrée commence à se tordre et à réapparaître sous différentes versions « déformées ». 

L'utilisation d'octaves et d'intervalles musicaux différents permet d'obtenir des résultats visuels fascinants. Ainsi, pour la note La, les zones optimales seraient les fréquences 55*n. Lorsque l'on passe d'une fréquence à une autre, les images prennent des formes fascinantes là où les textures audio deviennent agréables (« harmonieuses », si l'on peut employer ce terme dans ce contexte). Encore une fois, ce que vous voyez correspond à ce que vous entendez. Lorsque vous réglez les signaux sur des fréquences qui n'ont aucun lien entre elles et qui ne sonnent pas bien, l'image devient un véritable désordre - un chaos sonore.

En accordant le signal n.2 à 440 Hz, la note La crée une figure plus stable parce qu'elle est sur un rapport d'octave relativement au signal n.1 de 55 Hz, qui devient alors la fréquence fondamentale. La véritable magie se produit lorsque vous désaccordez légèrement le signal n.2 à 440,37 Hz. Une pulsation devient visible ; une texture fascinante émerge des lignes et se met à tourner, ce qui n'était pas le cas auparavant. Les figures se transforment en motifs complexes et magnifiques, semblables à des mandalas. 

Le type d'images que l'on peut observer à travers les oscilloscopes m'est toujours apparu comme un processus profondément « naturel ». Je pense qu'il y a quelque chose de fondamental dans les images d'ondes interagissant entre elles. Le phénomène vibratoire est fondamental dans la nature et pourrait même s'appliquer à toute chose.

Les personnes habituées à travailler avec des oscilloscopes physiques connaissent bien un motif appelé « courbes de Lissajous ». Les courbes de Lissajous sont produites par l'intersection de deux courbes sinusoïdales dont les axes sont perpendiculaires. Pour Echo, je voulais explorer en profondeur ce que les courbes de Lissajous peuvent offrir et trouver une approche qui fonctionnerait dans un moteur de jeu.

(Les résultats de certaines des expériences un peu geek que j'ai mentionnées sont visibles sous forme de fonds d'écran animés sur la page « Game Audio » de POSTRED.)

Le meilleur outil que j'ai trouvé pour expérimenter rapidement avec les courbes de Lissajous est la calculatrice graphique en ligne Desmos Graphic Calculator.

En jouant dans la calculatrice avec les paramètres et les équations trigonométriques, j'ai pu concevoir une logique unique pour le mouvement des particules dans Unity. J'ai ensuite traduit mes équations Desmos en systèmes de particules graphiques Unity VFX ; nous avons pu générer des visuels dynamiques et agréables en introduisant des paramètres en temps réel à partir de Wwise. En ajoutant des variables multiplicatrices (m, n, i, j, etc.) aux équations, il est possible d'influencer la symétrie et la torsion des figures ; ces variables sont attribuées à des Game Parameters transmis par les sons d'Echo pour transformer les figures de particules.

Voici un exemple de forme très complexe qu'il est possible de créer. Je les appelle des « figures elfiques ». Si vous observez attentivement ces images à la fois chaotiques et ordonnées, vous pouvez ressentir le même comportement que celui décrit dans les visuels de l'oscilloscope. 

Par ailleurs, Desmos est très pratique pour expliquer des concepts simples d'audio et de synthèse à nos étudiants en musique et en sonorisation. Il permet d'illustrer graphiquement comment les différents sons interagissent et ce qui se passe lors de processus physiques tels que le filtrage, l'effet Doppler, la synthèse additive et soustractive.

Voici un exemple d'une animation de particules faite avec une équation similaire, créée dans Desmos et traduite ensuite en mouvements de particules dans le graphique VFX de Unity.

Réalisation des idées dans Wwise et Unity

L'étape suivante consiste à lier les motifs à des formes d'ondes et des fréquences audio. Nous avons utilisé le plugin Wwise Meter pour convertir les niveaux audio en Game Parameters. Ceux-ci ont été connectés aux équations conçues avec Desmos et intégrés en utilisant le graphique VFX de Unity.

Cette image est un exemple simple d'un son entendu durant le mode d'attente : une pulsation grave est jouée avant que l'expérience ne commence. Les particules commencent à se tordre lorsque l'amplitude du son augmente. L'amplitude est convertie en un Game Parameter qui entre dans l'équation de particules comme l'une des variables. Par ailleurs, le concepteur sonore George Murgulia a connecté la valeur de sortie du Game Parameter à Arduino, contrôlant ainsi l'intensité des LED guidant les visiteurs vers le canapé dans l'obscurité.

Pour des interactions plus complexes avec les visuels, où les amplitudes des différentes fréquences du spectre audio affectent les visuels, vous avez besoin soit d'une solution personnalisée pour obtenir les données audio spectrales depuis Wwise, soit de créer plusieurs auxiliaires en utilisant des bandes fréquentielles séparées manuellement. Nous ne devrions pas nous inquiéter de ce qui arrive ici au signal audio, car les signaux sont seulement utilisés pour contrôler les shaders et les particules dans Unity.

Faire parler la figure d'Echo

L'image de l'entité « Echo » a été inspirée par l'un des archétypes de Carl Jung : l'Ombre, qui fait référence à l'aspect inconscient de notre psyché contenant des aspects refoulés ou cachés de notre personnalité.

Comme je voulais utiliser une forme très intuitive avec un concept fondamental lié à la nature, l'idée de la sphère a résonné en moi, car une sphère est un objet dont tous les bords sont à égale distance du centre. La sphère est un objet idéal qui ne peut pas réellement exister dans la nature, donc si nous pensons au concept de Project Echo, Echo détient la réponse pure dont nous ne pouvons jamais connaître l'essence réelle ; il semblait donc judicieux de faire fluctuer la surface de la sphère et de dissimuler sa forme dans du bruit. Cela rappelle l'effet de chorus/mandala que nous avons découvert lors de nos expériences avec un oscilloscope et la calculatrice graphique Desmos. J'ai donc introduit du bruit dans la géométrie de la sphère et j'ai attribué les multiplicateurs de fluctuation à l'amplitude et au spectre fréquentiel de la voix d'Echo. Nous avons enregistré Tina Babakishvili, partenaire de POSTRED, en tant que voix d'Echo. Lorsque Tina parlait, la géométrie d'Echo réagissait et se transformait.

Un incident amusant :

Malgré notre enthousiasme initial, nous avons rencontré des problèmes que nous n'avions pas anticipés et que nous avons découverts au deuxième jour de représentation d'Echo.

Il s'est avéré que, comme les équations qui génèrent les visuels utilisent le temps de jeu écoulé du moteur de jeu pour calculer le mouvement, le programme démarrait correctement mais prenait lentement et continuellement de la vitesse, ce qui n'était pas perceptible pendant les sessions. Cela nous a échappé, car le programme avait été utilisé pendant un maximum d'une heure lors de nos tests de développement. C'est un détail important que nous avons négligé, car après 3 à 9 heures de fonctionnement, l'animation procédurale des visuels devenait si rapide qu'elle offrait une expérience complètement différente et inattendue à nos visiteurs. Expérience que je qualifierais de plus intense que ce qui était prévu à l'origine.

Bien entendu, nous ne pouvions pas laisser les choses dans cet état trop longtemps. Après quelques réflexions, nous avons pu identifier le problème qui perturbait l'installation. Nous avons ajouté un paramètre de réinitialisation du temps à chaque cycle de l'expérience, afin que le temps d'exécution de l'application n'affecte plus le rendu visuel. Ainsi, si vous êtes venu en soirée lors des deux premiers jours, vous avez peut-être vécu une « édition limitée » de Project Echo !

Dernières remarques

« Lorsque vous êtes assis dans une pièce sombre, sur un canapé très confortable, entouré de sept haut-parleurs, et que vous voyez de magnifiques images se refléter dans des miroirs, créant une sensation d'espace infini dans l'obscurité totale, vous commencez à réfléchir à votre existence. Cette sensation est unique : tester l'expérience chaque jour avant le lancement du projet reste un excellent souvenir », comme l'explique Saba Baidoshvili, le développeur qui a travaillé avec moi sur ce projet.

Nous serions ravis de réaliser un Echo II si l'occasion et le temps se présentent. C'était une manière très intéressante d'explorer ce qu'il est possible de faire avec les mêmes outils que nous utilisons chaque jour, mais dans une perspective totalement différente.