『Project Echo』の裏にあるコンセプト

『Project Echo』はサウンドアーティストであるPOSTRED創設者、Beso Kacharavaの没入型オーディオビジュアル体験です。参加者が自分の潜在意識に潜む謎めいた通路に誘い込まれる、ワクワクするプロジェクトです。あなたのEcho（こだま）がこのエクスペリエンスのガイドとなります。Echoは変形してゆく謎めいた同伴者ですが、『ツイン・ピークス』、『アナイアレイション -全滅領域-』、『アライバル/侵略者』のような異次元のフィクションの出会いを思い出すかもしれません。

Beso Kacharavaは、長い間『Project Echo』のコンセプトを育んできました。参加者が自分の「内面」に出会い繋がることのできる、特別な機会を提供するというアイデアです。トビリシ市がユネスコのWorld Book Capital 2021に指定され、これにPOSTREDが連携したことにより、このアイデアが重要な意味を持つようになったとBesoは説明します。「自分のアイデアを具体的なプロジェクトに発展させるきっかけとなりました。人々が自分自身と繋がることのできる親密な空間をつくり出すことを目指し、さまざまな芸術媒体を取り入れ、コンセプトに命を吹き込もうと考えました。」と言います。

『Project Echo』の構成は独特であり、参加者は生成型の「ラウンド」を順にすすみますが、各ラウンドにヒントとなる映像やサウンドスケープが組まれています。私たちは参加者に各ヒントが共鳴するように設計し、人々の感情、思い出、感覚などを呼び覚ます可能性を計画しました。

ラウンドとラウンドの間の道程で参加者は再びEchoの部屋に戻り、その中核に存在するEchoのなぞなぞを聞きます。タブレットで回答を選ぶと旅の道筋が決まり、次のラウンドにすすむことができます。環境が自動的に再編され、新たなシーンが繰り広げられます。

第8ラウンドは予期せぬ展開となり、旅程が急に停まりEchoが再登場しますが、今度は内なる暗闇を反映させた暗い姿に変身しています。まるで影のようなこのEchoはユングの影の元型、ラブクラフト作品の闇、スティーブン・キングのサスペンスに満ちた著作などに通じるものがあります。深掘りするEchoの質問に答えると、参加者は第9ラウンドにすすむことができます。

この最終段階に到達した参加者は象徴的な生まれ変わりを遂げ、ついには起源に戻ります。こうして一巡すると旅はリセットされ、次の参加者を迎えます。循環するデザインはもう1度訪れたいという気持ちを促し、毎回異なるユニークな体験が保証されます。

『Project Echo』 - トビリシ市におけるユネスコのWorld Book Capital 2021のためのトレーラー（Vimeo）

 

インパクト

『Project Echo』はリリース以来、参加者から圧倒的な支持を受け、多くの人が生まれ変わったような感情的に濃い体験であったと語っています。すぐに参加枠が埋まったことからもその人気は明らかであり、当初予定のイベント会期中は予約が取れなくなるほどでした。参加者が殺到したため、熱心な希望者の波に応えるため、やむなく展示期間を1か月延長させたほどです。

インスタレーションを訪れた参加者の滞在時間は、人によって大きく異なりました。10分ほどで終わりにした人もいれば、40分も長居するほど夢中になった人もいました。驚いたことに、そして密かに私たちが嬉しかったことに、『Project Echo』で感動したあまり目に涙を浮かべて帰る人たちも数人いました。

実装の技術面

私たちは参加者がインスタレーションの意図や目的に没頭できるようにしたいと思いました。ただし作業をはじめる前に、サウンドやビジュアルの設計をすすめる対象として完璧な場所を見つける必要がありました。そこで私たちは、ジョージアのトビリシにあるArtareaの一室に巨大な鏡を並べてEchoの部屋を準備し、参加者が1人で居心地のよいソファに座り、スピーカー7台とサブウーファーというオーディオシステムに囲まれる環境を準備しました。鏡を視覚的なデザインの出発点とし、参加者観点の奥行きや立体感を高めようとしました。そのためには鏡同士をぴったりと完璧に繋げる必要がありました。これには鏡の設置を担当したチームが非常に苦労していました。

『Project Echo』の技術プロトタイプをサウンドデザイナーのGeorge MurghuliaがMaxMSPで制作し、これが最初の技術的なレイアウトを検討するために役立ちましたが、その後Unity 2021+Wwiseに移行しました。複雑なオーディオビジュアルシステムを制作する上で、こちらの組み合わせの方がより多くの切り口を提供してくれました。

参加者の体験は待機モードからはじまります。音と映像が同時に脈打ち、参加者は何かが起きることを予感します。タブレットで言語を選択すると、エクスペリエンスがはじまります。参加者は「Echoの部屋」に誘導され、ここでEchoの質問に答えると、その回答に応じたラウンドに導かれます。

WwiseのサウンドとUnityのビジュアルの選択肢のセットがラウンドごとにあり、サウンドとビジュアルはダイナミックかつジェネレーティブに相互作用します。「ヒーローズジャーニー」がラウンド間のエクスペリエンスの展開や、各ラウンドで提示される気持ちの選択肢のインスピレーションとなりました。

各ラウンドを通過して生まれ変わりを体験すると、プログラムは待機モードに戻りエクスペリエンスが完了します。ただし参加者は部屋を出ることなく、もう1度体験することもできます。

「難しかったのは参加者の没入感を妨げることなく、次のシーンへのスムーズな移行をつくり選択の重要性に光をあてることでしたが、その選択がよかったとも悪かったとも思わせてはいけません。」とGeorge Murguliaは言います。映像を音でコントロールし、ラウンド間でインパクトのある移行を表現した方法を後ほど説明します。

オーディオ面の考え方

オーディオシステムはすべてWwiseで作成し、今回の特殊な環境と円形スピーカーシステムに合わせ、没入型マルチチャンネルレイアウトのカスタマイズされた機能を利用しました。

どのサウンドも参加者が特定の場所に連れていかれるような、心に響くものでなければなりません。サウンドやレイヤーが互いに自然に作用しつつ、生成型のよさも出るように、サウンドやレイヤーを設計・制作することが課題でした。「これまでの人生で遭遇した固有の音に繋がる具体的な音でありつつ、多様な生い立ちを経験してきた参加者たちにそれぞれ合う曖昧さも必要でした。」とBeso Kacharavaは語ります。チームメンバーは最終的になじみのある海辺、スタジアム、飛行機、地下鉄などの環境と、手の込んだレアな鉱山や未来都市などの環境の、どちらの設定もセットで含めることに決めました。

ダイナミックで表現力のある雰囲気をつくることが目的であったため、Besoのチームはビデオゲーム環境のサウンドをデザインする時のように取り組みました。私たちは基盤の「ベッドトラック」と、車が通り過ぎる音、鳥のさえずり、呼び声、叫び声などの特定音を反映させた何百ものレイヤーを投入したサウンド構造からはじめました。

各音の適切な周期を判断することも、難しい問題の1つでした。チームはさまざまなアイデアを試し、最終的にWwiseで制御されたジェネレーティブアプローチを用いることにしました。「本物の熱帯雨林の音を聴くと、私は瞑想的な感覚でインスピレーションを受けます。」と本プロジェクトのオーサーであるBeso Kacharavaは語ります。「聞いているうちに鳥たちのやり取りや、風の強弱や、面にあたる雨の音などにパターンが見えてきます。この概念を理解すると音の間隔をランダム化するだけというレベルを超えることができます。適切な音と『制御されたランダム性』のちょうどよいバランスを見出した時、魔法が起きます。リスナーに響く環境になります。」と言います。私たちはこの考え方のもと、サウンドを実装する前に環境要素がDAW外でどのように作用するのかを検討しました。パターンによる関係性が、ランダム性の適用により失われてしまう恐れがあったためです。

例えば、ある村の独特なサウンドスケープに犬が貢献する場面を考えます。1匹の犬が吠えはじめると、ほかの犬たちがそれに続くのが一般的です。これをWwiseで再現する方法は2通りあります。犬たちの吠える様子を複数のファイルに順番にレンダリングし、そのファイルをWwiseにエクスポートする方法と、犬の社会的な関係性を論理的に分析し、それを再構築する方法です。どちらも有効なアプローチですが、後者の方がハードルは高いものの、本物らしく聞こえるかもしれません。

そのためには、ランダムコンテナに犬の鳴き声の入ったサブコンテナを入れます。サブコンテナの中のサンプルは短いサンプルとしますが、自然に聞こえるように複数の吠え声を入れてもよく、それだけで短いシーケンスとなることもあり、とにかく理にかなった最もコンパクトな吠え声のセットとして考えます。

ランダムコンテナを準備し、次に犬の吠え声のさまざまなシーケンスを構築します。カオスの発端となる、最初のやっかいな犬が必ず1匹いることを忘れないでください。例えば以下のセットでは4匹の犬の間にトリガーディレイのあるギャップ（ランダム化され、最大3秒）を入れていますが、これは農村で実際に犬が吠える様子と似ています。

何度も試し、感覚的によいと感じられるものを頼りに、ランダムにトリガーされる複数のシーケンスを農村サウンドスケープの1つの要素としてつくりました。

鳥も同じようにします。

この時、サウンドスケープが不自然にならないよう、個々の音源（犬、鳥、小川など）が音を発した後に消滅しないように配慮することが大切です。 

音楽のアプローチとライブラリの設計

『Project Echo』の音楽を作曲したのは、Zviad Mgebryです。彼は特定のジャンルに束縛されることなく、「音色」や「感情」を中心に音楽を制作することを目指しました。「私は自由というコンセプトにインスピレーションを感じました。音楽が参加者の選択に応じながらも、自然に聞こえる音楽フォーマットをつくろうと考えました。」とZviadは言います。

本プロジェクトでは、音や映像とシームレスに融合する音楽的な言語と音色が必要でした。そこでZviadはPOSTRED社内のオーディオツールを担当するチームと協力し、Echo Toolkitという仮想楽器を開発しました。

私たちはオーディオツールのために「固定式」と「プロシージャル式」の2種類の楽器を設計しました。 

• 固定式の楽器は特定ルールに従うようにプログラミングし、豊かな表現力で演奏することができます。 
• 逆にプロシージャル式の楽器は、アルゴリズムや可変パラメータに基づいて音を生成します。 

私たちはEcho Toolkitをつくるため、プロトタイプでサンプラーのKontaktを利用しましたが、強力なスクリプト機能とモジュレーション性能があるため、最後まで使い続けることにしました。「私は従来の楽器を真新しいものに変化させ、木琴のような楽器をつくりたいと思いました。例えば太鼓ひとつを打楽器として演奏するのではなく、キーボード全体を使い太鼓でメロディを演奏するようなことを想像してください。」とZviadは説明します。

私は当初アルゴリズムで参加者の選択に合わせてシームレスに変化する、ダイナミックなサウンドトラックを生成することを考えました。ところがもっと重要なプロジェクトの締め切りが刻々と迫る中、実験的なアートプロジェクトがどうなるのか、みなさんもよくご存知だと思います。最終的に私たちはカスタマイズせず同じ効果を出せる、リスクの少ない安全なアプローチをとりました。さまざまな条件下でEcho Toolkitの出力を深くまでサンプリングし、その機能をWwiseでエミュレートしたのです。

Zviadは最初音を7つのスピーカーにそれぞれ配置しましたが、その後音や楽器を音場で動かすというアプローチに変更しました。Echoの空間音響はすでにすばらしい状態であったため、追加のリバーブは不要でした。 

ダイナミックなビジュアルのためのアプローチ

Echoのビジュアルを形成するための研究と実験

Luka Lebanidzeはエクスペリエンス全体について、彼自身の観点から次のように語っています：『Project Echo』のテクニカルリードとしてユニークでありながら、とても自然なエクスペリエンスを実現する実装を目指しました。ビジュアルとオーディオを一体的に融合させるアプローチを見つける必要があることは、最初から分かっていました。

オーディオ業界の人間は、映像が音に反応してプロシージャルに動く様子を見慣れています。例えばカーブ、パーティクル、メーター、波形などの動きです。私たちサウンドアーティストは、これを音楽アプリ、プラグイン、ハードウェア、ビデオゲームなど、いたるところで目にしています。こうしたビジュアルは普及していますが、やはり魅惑的で美しいものです。波形の有機的な性質にいつも魅了されます。私はここ数年、音が映像をつくり出すというオシロスコープミュージックのジャンルに出会いました。このニッチジャンルのアーティストたちがサウンド、レーザー光線、オシロスコープなどで織りなす斬新でクレイジーな作品に影響され、私もオタク趣味として試すことにしましたが、試してみてよかったです。

私は遊びを通して観察したある現象に、虜になってしまいました。オシロスコープを通して見ながら2つの信号を合体させ、違うコンビネーションでチューニングすると、相互に作用しながら変化する様子を見ることができるのです。

それがカオス状態になることもありますが、ちょうどよいスウィートスポットを見つけると、映像が振動し、面白いダンスをしてくれます。聞こえたものがそのまま目に見えるのです。

以下の動画では、立方体を描く信号No.1がノートAに該当する周波数55Hzに固定されています。ピラミッド型をした信号No.2をゆっくりと上へチューニングすると、正方形の画像が壊れはじめ、さまざまなねじれた形式で再び現れます。

オクターブや異なる音程を使うことにより、視覚的にもエキサイティングな結果となります。ノートAの場合、スィートスポットは周波数55*nです。さまざまな周波数を回しているうちに、オーディオがよく聴こえると映像も刺激的な形状を形成することに気づきます（この文脈で、まるでハーモニーのようだと言ってもよいものでしょうか）。ここでもまた、目に見えるのは聞こえたものです。信号を関係性のない周波数にチューニングし、音が悪いと感じた場合、ビジュアルも実に雑になっており、ノイズのカオス状態です。

信号No.2を440Hzにチューニングすることにより、ノートAは基本周波数となる信号No.1の55Hzに対してオクターブの関係となり、より安定したかたちをつくり出します。そして本当の魔法が起きるのは、信号No.2を440.37Hzまでわずかにずらした時です。映像が脈打ちはじめ、線からエキサイティングな質感が出現し、これまでなかった回転動作が見られます。図形は複雑ですが美しく、曼荼羅のような模様となります。 

オシロスコープを通して見る映像は、常に自然のあるべき姿を表しているように感じます。波が互いに影響し合う様子に、何か根本的なものを感じます。振動は自然界の基本的な現象のひとつであり、実はあらゆるものにあてはまるのかもしれません。

ハードウェアのオシロスコープを使い慣れている人は、リサジュー図形というパターンを知っているでしょう。リサジュー図形は、軸が直角に交わる2つの正弦曲線の交点によってつくられます。私はリサジュー図形で何ができるのかを深堀りし、Echoのゲームエンジンで使えるようなアプローチを見つけようと思いました。

（ここで触れたマニアックな実験結果の一部を、POSTREDのゲームオーディオページの背景アニメーションとして使っています。）

リサジュー図形の実験を簡単に行うために私がみつけた最良のツールは、オンラインにあるDesmosのGraphic Calculatorでした。

Desmos Graphic Calculatorでパラメータや三角方程式の実験をすることにより、パーティクル動作のためのユニークなロジックをUnityで構築することができました。Desmosの方程式をUnity VFXのグラフパーティクルシステムに変換しました。Wwiseからリアルタイムでパラメータを送信することにより、満足感のあるダイナミックなビジュアルを生成することができます。方程式に乗数変数（m、n、i、jなど）を追加することにより、図形の対称性やねじれに影響を与えることができます。Echoのサウンドから受領したゲームパラメータにこれらの変数を割り当て、パーティクル図形のモーフィングを行います。

下図はできあがった非常に複雑なノットの例です。私はこれを「妖精のような図形」と呼んでいます。カオスであり整然とした画像をよく見ると、オシロスコープの映像の説明と同じ挙動を感じ取ることができます。 

余談ですが、Desmosは単純なオーディオや合成の概念を学校で音響や音楽を学ぶ学生に説明する時に便利です。異なる音がどのように相互作用するのかを表し、フィルタリング、ドップラー、加算合成、減算合成といった物理的な処理の過程で何が起きているのかを示してくれます。

こちらはDesmosで作成した同様の方程式でアニメーション化したパーティクルを、UnityのVFXグラフのパーティクル動作に変換した例です。

アイデアをWwiseとUnityで実行

次のステップは、パターンをオーディオ波形や周波数に結びつけることでした。私たちはWwise Meterプラグインを使い、オーディオレベルをGame Parameterに変換しました。これらをDesmosで設計した方程式に繋げ、UnityのVFXグラフで統合しました。

これは待機モード中のサウンドのわかりやすい例の画像です。脈打つ低トーンが再生され、その後にエクスペリエンスが開始します。オーディオの振幅が上がると、パーティクルのねじれがはじまります。振幅がゲームパラメータに変換され、パーティクルの方程式に変数の1つとして送り込まれます。さらにサウンドデザイナーのGeorge Murguliaが出力されたゲームパラメータ値をArduinoにアタッチし、参加者を暗闇のソファまで誘導するLEDの輝度を制御できるようにしました。

オーディオスペクトルのさまざまな周波数の振幅がビジュアルに影響を与えるような、複雑なビジュアルとの相互関係は、オーディオスペクトルの情報をWwiseから取得するカスタムソリューションをつくるか、手作業で分離した周波数帯域を使いAUXを複数作成する必要があります。この信号はUnityのシェーダーやパーティクルを駆動するためだけに使うので、オーディオがどうなるのかを気にする必要はありません。

Echoの図形が話せるようにする

Echo自体の姿はカール・ユングのアーキタイプのひとつである「影」にインスパイアされたものであり、影とは人格の中の抑圧または隠ぺいされた面を含む、無意識の部分を指しています。

自然にとって基本となるコンセプトを有する、とても直感的な形状を使いたいと思い、球体はすべてのエッジが中心から等距離にあるオブジェクトであるため、心に響きました。球体は自然界に実際に存在しない理想的なオブジェクトですが、『Project Echo』の概念ではEchoが真の答えを持っており、私たちはその答えの本質を知ることは絶対にありません。だからこそ球体の表面を常に変化させ、球体のかたちをノイズで隠すのがよいだろうと感じました。オシロスコープやDesmosのGraphic Calculatorを使用した先の実験の、コーラスや曼荼羅のエフェクトに似ています。そこで私は球体のジオメトリにノイズを送り、Echoの音声の振幅や周波数スペクトルにゆらぎの乗数をアサインしました。Echoの声はPOSTREDのマネージングパートナーである、Tina Babakishviliの声を録音して使っています。EchoのジオメトリがTinaの声に反応して変化します。

おかしな話：

最初の興奮とは裏腹に、Echoオープンの2日目に予想外の問題が発覚しました。

映像を動かす方程式の動作計算にゲームエンジンのゲームタイムを使用しており、最初はプログラムが問題なくスタートしたのですが、少しずつ徐々に加速してしまい、これをセッション中に把握できていませんでした。開発中のテストはプログラムを最大1時間しか稼働させなかったため、見落としてしまったのです。この重要な点を見逃して3～9時間ほど稼働させた結果、映像のプロシージャルアニメーションが非常に速くなってしまい、参加者は全く違う予期せぬ体験をすることになったのです。予定よりも大分密度の濃い経験になったと言えるでしょう。

もちろんこの混乱状態を放置したわけではありません。しばらく試行錯誤した後、インスタレーションのとんでもない動きの原因を突き止めました。私たちは時間パラメータを1回の体験ごとにリセットするように設定し、アプリケーションの稼働時間が体験に影響しないようにしました。ですので、最初の2日間の夕方に来場した方は、『Project Echo』の期間限定版を体験したかもしれません！

 

最後に

「真っ暗な部屋に置かれた座り心地のよいソファで、スピーカー7台に囲まれ、鏡の美しいビジュアルを見て暗く果てしない空間を実感した時、人は自身の存在意義について考えるものです。この感覚はユニークです。私はプロジェクトの立ち上げ前に毎日これをテストすることができ、すばらしい思い出となりました。」と、私と共にプロジェクトに取り組んだデベロッパのSaba Baidoshviliは言います。

チャンスと時間さえあれば、私たちは喜んでEcho第2弾に取り組みたいです。日常的に使用する道具を全く異なる見方で扱った場合に何が起きるのかを知る、面白い方法でした。