『Kid A Mnesia Exhibition』はRadioheadのアルバム『Kid A』（2000年）と『Amnesiac』（2001年）のためにつくられた、音楽とアートワークのデジタル展覧会です。このプロジェクトを支えたオーディオチームに、開発の過程、コラボレーション、Wwiseの活用、難しかった点や独自の解決策、スペシャルオーディオなどについて聞きました。どうぞお楽しみください。 

1. インタラクティブエクスペリエンス『Kid A Mnesia』はどのようにしてはじまったのですか？制作当初からかかわっていましたか？開発時のクリエイティビティと最終的な成果を一致させるために、明確なビジョンやビジョンの推進者が存在したのですか？

プロデューサー　Matthew Davis：コンセプトが大体似たリアルな展示として最初にアイデアが生まれ、バンドの『Kid A』と『Amnesiac』の時代に制作されたオーディオとビジュアルの両者の、膨大な量のアートワークを披露しようという考えでした。ところがさまざまな制約があり、中でもコロナ禍の影響は小さくなく、バーチャルな展示というアイデアが徐々に2020年の間に本格化しました。バンドメンバーたち、Nigel、そしてSean Evans（プロジェクトディレクター）と何度かミーティングを重ねるうちに、このコンセプトを開花させる可能性の数々が、Unreal（とWwise）の使用により広く解き放たれるであろうことが明らかになりました。

明確なビジョンたるものは最初から確実にありました。Sean、Nigel、Thom、Danは全員、先を見る目があり、私たちがレールから外れないよう大いに助けてくれました。Seanは「『Kid A』と『Amnesiac』の時代の成果を、エイリアンの忘れ去られた廃墟の中で探求する展覧会となる予定でした。迷宮と「バベルの図書館」を組み合わせた美術館でした。絶望を感じさせることなく、迷子となる感覚を浸透させたいと思いました。プレイヤーが時には圧倒されるように感じるという計画です。正しい道はひとつではなく、行き止まりのないデザインにしようと考えました」と言います。

2. Radioheadの音楽を『Kid A Mnesia』のスペーシャルオーディオの表現に変換するプロセスはどのようなものでしたか？誰が関与しましたか？どのような素材を使うことが許可されましたか？どのようにアイデアのやり取りをしましたか？具体的にエクスペリエンスの中でアイデアを表現する際、承認プロセスはどのようなものでしたか？

プロデューサー　Matthew Davis：最初に聞いたプロジェクト概要はExploded Songs（爆発した曲）という考えでした。アルバム内にもアルバムに入らなかった収録の中にもあまりにも多くの素材があり、すべてを炸裂させて構成要素に分裂させ、それらのパーツをなんらかの方式で並べることで、素材の真髄に迫ることができるだけでなく、それこそエクスペリエンスを構築する上で不可欠だという考えです。どのようなしくみがよいのかについてはNigelが非常に具体的なアイデアを持っており、衝撃的なオーディオデザインではなく、主に展覧会の展示のようにすることでした。この考え方から私たちは山あり谷あり、満ち引きのある連続的なエクスペリエンスを描き出しました。スペーシャリゼーションや反射の使い方をめぐり、最初は何度も試行錯誤をしました。ダイアジェティックサウンドとサウンドトラックの間の線引きや、スペーシャリゼーション音とリスナーにロックされた音の区別などはどうするか？この時の話し合いや実験は私が最も楽しかったことの1つであり、影響を与える属性のある環境の中に見る人を置きつつ、元の素材の本来の誠実さやニュアンスを維持することを目指しました。

当時はパンデミックの最中で全員がリモートで仕事をしていたため、Zoom会議でクリエイティブな方向性について話し合いました。その後に私は1人集中し、私たちの最新プロジェクトの動画やNigelが元のアルバムのステムを展示用に編集していたものを使い、Ableton内でさまざまなアレンジやミックスをモックアップしました。Nigelが大変多くのリミックス、再アレンジ、新バージョンの作成などを行ってくれたことにより、本当にスペシャルなものに仕上がりました。私たちは大まかな作曲の動画を最初につくり、そこでレイアウト、ループやトリガーのロジック、大体のミックス、ノリなどを話し合いました。次にWwiseとUnrealで実装するという流れでした。 

3. ユニークな解決策を要する技術的な制約などはありましたか？

シニア・サウンドデザイナー＆システムエンジニア　Braeger Moore：私たちが直面した制限は、複数のWwise機能で補完し合えば充分なものが多かったです。高さに基づく左右非対称のフォールオフ、回折経路を制御するために戦略的に配置してトグルするエミッター、室内移動に基づくミキシングやトリガー設定など...。ただしワークアラウンドで対処した制約事項が2つほどありました。

私たちが使用したWwiseのバージョンは、UEメディアのオーディオをWwiseに送信するためのミキサープラグインが入る前のものであったため、シアタールームでは何時間ものオーディオと動画を手作業で同期させました。私はGetSourcePlaybackPositionコールバックを公開し、動画から時間情報を取得し、両者の結果を比較して同期するために必要なオーディオのピッチ調整を行いました。

もう1つのワークアラウンドは最終的にリリース版に含まれませんでしたが、音楽と同期してUEでアクションを実行するシステムを作りました。ここで活用したのが既存のスティンガーシステムです。特定のSFXをスティンガーとして複製し、Pythonスクリプトですべてのワークユニットを解析し、すべてのタイミングデータとファイルの関連づけを取得してUEのデータテーブルに入れました。その結果、例えばドアを開閉した時の効果音の頂点を、グリッド上のどの位置に置くのかを自由に決めることができました。

4. 『Kid A Mnesia』の中でプレイヤーのノンリニアな移動が可能なスペースにおいて、例えば予測不可能な進行やタイムアタックなどのインタラクティブゲーム的なしくみに対応するために、どのような決断をしましたか？

シニア・サウンドデザイナー＆システムエンジニア　Braeger Moore： あまり複雑なことはしませんでした。部屋ごとのステート管理や、あらゆるアプローチでのミキシングなどに時間を多くかけただけです。たくさんの継ぎはぎがあります。特にブラウン管テレビの部屋では！

5. さまざまなスペーシャルオーディオ技術が提供されていて、例えばバイノーラル処理、アンビソニックス、オーディオオブジェクト、サラウンドフォーマットなどがありますが、どのように利用しましたか。

シニア・サウンドデザイナー　Clay Schmitt：美しい曲へのドラマチックな切り替えを実現するために、部屋と部屋の間のスペースでは可能な限りユーザをしっかりと現実的な世界に引き入れ、逆にフィーチャールームから流れる音楽に身を委ねる時は、地に足のついた雰囲気を消し去ることを目指しました。これを実現するために私はアンビソニックレコーディングやサラウンドレコーディングを多用し（quadまたは5.1）、私がAbletonでデザインしたステレオのサブレイヤーと組み合わせました。ピラミッド内のエレベーターはアンビソニックレコーディングを活用したすばらしい例であり、最高の出来であったと考えています。 

6. 減衰はよくボリュームやその他の環境内の要素をリアルに表現する手法とされます。クリエイティブな距離減衰の使い方や、プレイヤーと音の距離のほかの面など、このエクスペリエンスで工夫した点を教えてください。

シニアサウンドデザイナー　Clay Schmitt： NPCのおしゃべりなどの減衰は、現実に素直に即したかたちとなるよう、慎重にすすめました。これを追求するために私たちはテストレベルを使用し、Thomは自分の考える音の減衰について、分かりやすくフィードバックしてくれました。現実味を出したいところではWwise Convolution ReverbやWwise Reflectなどのエンジン内ツールを使いました。最初にリアルな減衰を設定しておき、それがすばらしいベースラインとなり、減衰やリバーブテイルをさらに強調して夢のような雰囲気を出したい状況では、これを基軸に発展させました。このように強調された場面ではRoland RE-201 Space Echo、MXR Pitch Transposer、Lexicon M300 Reverbなど、自分の古いハードウェア機器を使いステムを処理し、控えめなレイヤーとして既存のWwise Convolution ReverbやWwise Reflectに追加しました。実際にこのエフェクトを聞くためには、ブラウン管テレビの部屋に出入りする廊下と、中のピラミッドにいる大型ミノタウロスの足音が最適です。

7. 音楽を通した抽象的な表現の度合を決める上で、回折の利用が大きく影響したと先ほど言っていました。このテクニックをどのようにとらえ、その裏にどのような思考過程があったのですか？

シニア・サウンドデザイナー＆システムエンジニア　Braeger Moore：

最終的な音楽の回折パラダイムは、次の2つの考え方に集約されました：
1. メインルームでは音楽を完全なかたちで、制作された通りに聞かせること。
2. 部屋を出入りする時はクリエイティブに制御できる範囲内で、より現実的にすること。

ミキシング中や実装中のほぼすべての決断がこの考えに即したものであり、いかにして精巧で動的なオーディオ環境をつくり出し、徐々に盛り上げて部屋の中のエクスペリエンスへと繋げ、そこからゆっくりと散り、見事なビジュアルやアンビエンスを見て感慨にふける余韻を提供することを意識しました。

8. 音楽において音声はコミュニケーションの媒体でありながら、特に『Kid A Mnesia』では楽器であり音を抽象化したものとして、2つの役割を担うことが多いです。ミックス全体の中で音声が確実に表現されるようにするため、工夫したことはありますか？

シニア・サウンドデザイナー　Clay Schmitt：このエクスペリエンスの音楽はすべて、Nigelが20年前に巧みにミックスしたものですから、私たちがステムをエミッターに配置する際の最初の挑戦は、私たちの実装が元のバランスに影響しないようにすることでした。Nigelのオリジナルミックスはプレイヤーの行動によって、エクスペリエンスのいたるところで変化してゆきます。とはいえ、クリエイティブになるチャンスがいくつかありました。例えばブラウン管テレビの部屋で、電話ボックスの受話器からThomの声が聞こえてきます。効果をさらに高めるために本物の電話の受話器を通してThomの音声を再録音し、フィルタリングとディストーションによってさらに処理することでキツい質感を出しました。

9. アンビソニックレイヤーを全体的にどのようにクリエイティブに使ったのかを詳しく教えてください。ステムはどのようにつくりましたか？サウンドデザインの意図は？

シニア・サウンドデザイナー　Clay Schmitt：もちろんいいですよ！アンビソニックレイヤーを使ったもうひとつの例が、オープニングの森です。柔らかい風の音や葉の揺れるささやかな音を配置してゆき、時おり遠くの小枝が折れる音も入れ、Thomの大変かっこいい鳥の鳴き声コレクションもシーン全体に配置しました。それだけで充分よかったのですが、何か足りない気がしてなりませんでした。必要なのは静かな木の枝の音だと考え、プレイヤー側でDolby Atmos出力が利用できることを知っていたため、トップチャンネルを活用することにしました。私は常に愛用のTascam DR-100（ハンドヘルド型ステレオレコーダー）を持ち歩いています。オハイオ州に住む家族を訪ねた時、庭で録音ボタンを押してからナラの木の枝を揺さぶりました。レコーディングをWaves B360 Ambisonics Encoderで処理し、Dolby Atmosを再生できるプレーヤーに、頭上でそよ風に揺れる枝の音が聞こえるようにしました。

10. ビジュアルアルバムとインタラクティブ機能が交差し、そこに足音が加わると、エクスペリエンスにおけるプレイヤーの主体性がサポートされます。どのようにして足音が音楽の邪魔にならないようしましたか？

シニア・サウンドデザイナー　Clay Schmitt：プロジェクトの初期段階で足音を入れるのかどうかを議論しました。音楽の邪魔になるのではないかということが主な懸念点でした。しかし適切に処理された足音はプレイヤーの没入感を高める優れた方法であり、エリアとエリアの間の静かなスペースでは特に有効です。Braegerがフィーチャールームのためのダッキングシステムを作成済みで、音楽が中心となるエリアに移動した時、ルームトーン、アンビエンス、私のつくったサブレイヤーなどがゆるやかにフェードするようになっていました。このダッキングバスに足音の出力も回すことは簡単であり、結果はまさに私が望んでいた通りでした。

11. 音楽を強化するために、Wwise Reflectをどのように使いましたか？

シニア・サウンドデザイナー＆システムエンジニア　Braeger Moore：Wwise Reflectはある意味、作成したリアリズムを飾る最後のアクセントでした。厳選したところにしか使いませんでしたが、音楽のインパクトを犠牲にせず音楽に忠実でありながら、私たちが求めていたリアリズムを実現するために大きな役割を果たしました。ただしReflectで何か革新的なことをしたわけではありません。最初に自分たちの「バランス」を見つけるために時間をかけ、その後は随時ミックスを確認し合い、各スペースでしっくりするようにしました。

12. Nigel Godrichの開発への貢献など、彼について詳しく教えてください。

プロデューサー　Matthew Davis：言うまでもなくNigelなしでは何もはじまりません。最初からオーディオコンセプトをとても明瞭に力強く示してくれ、共にWwiseやUnrealの可能性を学びながら、彼はアプローチの仕方を微調整してずらしつつも、終始そのビジョンを堅持しました。彼は昔のアルバムセッションをもう1度ひも解きながら、見事で大がかりな6チャンネルサラウンドミックスのセットピースをいくつか制作し、マッシュアップをたくさんつくってくれ、私たちがいろいろなスペースに散りばめました。エリアとエリアの間のスペース、廊下など、ある部屋から別の部屋へ音がにじむような場所で、スペーシャリゼーション、反射、リバーブなどを適用する時、どこまでやるとやり過ぎとなり、元のオーディオの完全性が危険にさらされるのかについて長く議論を重ねましたが、没入感あふれる物理的な空間に置かれることと、常にはっきりと聞こえて存在感のあるサウンドトラックがあることのバランスを見つけることは、開発中の大きなプロジェクトでした。Nigel、Thom、Danの3人が私たちと一緒になって考えてくれたことで、下手をするとある種のファンフィクションとなってしまうプロジェクトでしたが、純真な作品に仕上がりました。最高です。