こんにちは、エディ・リウ（刘海宜）です。最近リリースされた『イモータル・レガシー 不滅の禍』のオーディオデザイナーを務めました。私が担当したのは、サウンドエフェクトやインタラクティブミュージックの制作と、このゲームのWwiseプロジェクトのセットアップでした。『イモータル・レガシー』は、アクションアドベンチャー・ホラーシューターのPSVRゲームで、パズル要素が多分に使われています。VRプラットフォーム固有の条件のため、オーディオ制作が通常のゲームとやや異なりました。今回は2回に分けて、プロジェクトの全体的なオーディオデザインにおけるアイディアを、いくつか紹介したいと思います。

『イモータル・レガシー 不滅の禍』 オフィシャルトレーラー

アンビソニックスのコンセプトから実用化まで

アンビソニックスフォーマットはイギリスのNational Research Development Corporationのもとで1970年代に開発されました。ところが、VRが誕生するまで、広く活用されることも商用化されることもありませんでした。アンビソニックスの核心にあるのが、第3の次元、つまり高さの導入で、音源の空間的な位置がより鮮明に聞き取れます。これまで、ステレオやサラウンドシステム向けにつくられた音は、パンニングによって水平方向の面に配置されてきました。そこに「高さ」の概念を導入することで、オーディオが平面的でなくなり、オーディオの配置がより立体的になります。空間的な知覚は、オーディオ業界が目指してきたものです。近年では、Dobly ATMOSやDTS:Xなどが注力してきた技術分野でもあります。

ところで、アンビソニックスが誕生してからしばらく経ちますが、従来の映画やテレビ業界では普及していません。確かに音の空間的な位置を正確に表現してくれる技術ですが、精度の高い品質で再生するには、劇場側が厳しい再生機器や再生システムの要件を満たす必要があり、これが難題でした。このため商用化が難しいのです。また、従来の映画やゲームは通常、画面が観客の目の前に固定されているので、視聴者は正面から聞こえる音情報に一番耳を傾けます。多くの場合、点音源が観客の左右や背後に頻繁に現れることはありません。同時に、人間の耳に聞こえる点音源の上下方向の識別は、実は水平方向ほどではありません。たとえ上部にDolby ATOMSシステムのようにスピーカーアレイを追加したとしても、トップスピーカーアレイのサウンドオブジェクトの動きは、まだプロダクション段階では任意設定にすぎません。つまりアンビソニックスのような無指向性サウンドシステムに、明確な優位性がないのです。

一方、VR製品では、アンビソニックス本来の利点が発揮されます。VRにパノラマ機能があるおかげで、アンビソニックスを使い3次元の半球形状の空間を作成して、その中に視聴者を配置できます。そして高さを制御できるので、聴く人は3次元の空間における音の位置をより正確に推定できます。従来のパンニングと異なり、アンビソニックス音は球体のような構成の中で、1つ以上のスピーカーから再生されます。音の放射の面がつくられるので、音が違うスピーカーや方向へと移動したときも、滑らかで自然に聞こえます。

しかし前述の通り、アンビソニックスを再生する機器側の要件があります。アンビソニックス自体は特定のスピーカーアレイに限定されません。ステレオ、5.1、7.1、その他のデバイスでも再生できます。ただほとんどのユーザーは360°、さらには720°のパンニング性能を備えたマルチスピーカーシステムを持っていないので、従来のステレオシステムを使用して満足のいく再生結果が得られません。そこで今のところ、ゲームのアンビソニックス音をマルチチャンネル信号からHRTFバイノーラル信号に変換して、ヘッドフォンで再生すことが一般的です。だからこそほとんどのVRゲームで、最良の音響エクスペリエンスのために最初からヘッドフォンを着用することが推奨されているのです。

VRのパノラマ動画でアンビソニックスを大いに活用できる一方、ゲームには固有のインタラクション性があり、エミッターの空間的な向きも不確定なため、生でレコーディングしたアンビソニックスアセットだけに頼るわけにはいきません。今のところアンビソニックス形式で録音された商用オーディオアセットは、大部分が静的なアンビエンスです。3D空間にある点音源に関しては、Wwiseのアンビソニックスパイプラインを使ってアンビソニックスフォーマットの音をリアルタイムのポジションに従い再レンダリングする必要があり、それをバイノーラル形式などでプレイヤーに送信することになります。

アンビソニックスの次数は、1次（4チャンネル）、2次（9チャンネル）、3次（16チャンネル）に分けることができます。

アンビソニックスの次数

チャンネル数が増えるほど、サウンドスケープがよりリアルで繊細になり、音の位置も分かりやすくなります。なお、ここで言うチャンネル数はアンビソニックスのチャンネル数のことで、再生時のチャンネル数とは関係ありません。たとえ再生デバイスがステレオでも、聞こえ方は3次のアンビソニックスの方が1次よりはるかに優れたエクスペリエンスとなります。アンビソニックスのフォーマットは、A-FormatとB-Formatがあります。簡単に言うと、A-Formatはアンビソニックスマイクでレコーディングする、エンコード前のオリジナルトラックのことです。一般的に、アンビソニックスの話をするときはB-Formatの方を指します。A-Formatのオーディオファイルを1次アンビソニックスにエンコードすると、4つのトラック（W、X、Y、Z）のあるB-Formatファイルができます。

• Wは、無指向性マイクで周囲の音を平等に録音したものです。
• Xは、双指向性マイクで正面と背面の音のみを録音したものです。
• Yは、双指向性マイクで左と右の音のみを録音したものです。
• Zは、双指向性マイクで上と下の音のみを録音したものです。
• 
  

アンビソニックスのB-Format

この4つのトラック（W、X、Y、Z）は5.1や7.1のチャンネルとは異なり、すべての3Dスペーシャルオーディオ情報の録音を表しています。音の正しい空間配置を取得できる唯一の方法がB-Formatで、これを元にミキシングやエディットなどの処理を行えます。

チャンネルの次数やウェイト付け、量子化などの違いに考慮して、B-Formatをさらにいくつかのサブフォーマットに分けられます。よく使われるのが、Furse-Malhamと、AmbiX（ACN次数にSN3Dノーマリゼーション）です。前者は略してFuMaと呼ばれ、これまで広く使われてきた従来型のB-Formatです。後者はここ数年人気が出てきた新しいフォーマットで、主にソフトウェアやゲームで採用されています。AmbiXの方がFuMaより拡張性が高いです。この2方式はまったく違うチャンネル次数なので注意してください。あなたが使うB-Formatファイルの音が、もともと生録音で作成したものであれ、合成後のものであれ、まずFuMaなのかAmbiXなのかを確認して、復元するための適切なデコードシステムを判断してください。これを誤ると、音のポジション情報が違ってしまいます。WwiseにB-Formatのファイルをインポートする際は、正しいデコードフォーマットを自分の手で選択することを忘れないでください。

Wwiseでアンビソニックスのフォーマットを選択

アンビソニックスについて理解できたところで、これをVRゲームでどのように使うのかについて話したいと思います。基本的に、次の2つの状況が考えられます。

• B-Formatの既存オーディオファイルをインポートしてデコードして、それをゲームで再生する場合。
• フォーマットを問わずオーディオファイルをインポートして、それをWwiseアンビソニックスパイプラインで処理してから、再生する場合。

前者はアンビソニックス形式で録音したアンビエンスのアセットに多く、後者は通常のオーディオアセットをインポートしてからアンビソニックスに変換してゲーム内で再生するときによく使われます。

アンビエンスのデザイン

パノラマ画面がプレイヤーにもたらす視覚的なインパクトが大きいので、VRゲームの方が没入感の強化という点で明らかに優位です。WwiseでB-Formatのアンビエンスをインポートすればそのまま使えるので、没入感の高いエクスペリエンスを提供できます。今日、商用に使えるアンビソニックスのアンビエンスライブラリが、多数、市場に出ています。そのほとんどが自然環境に基づいた生の録音です。もしアンビソニックスで表現したアンビエンスがもっと欲しければ、DAW（Nuendo、Reaperなど）と、正しいB-Formatコーデックのプラグイン（ReaJS ATK、Matthias AmbiX、Wavesのアンビソニックスツール、Noise Maker Ambi Headなど）を組み合わせて、人工的につくれます。ただ、このようなB-Formatの人造音は、直接録音されたアンビソニックスのアセットと比較すると、聴いたエクスペリエンスは劣ってしまい、制作時間とコストも増加します。そこでゲームシーンによっては、アンビソニックスのアンビエンスを補うかたちで、Quadアンビエンスをふんだんに使ったり、一部ステレオアンビエンスを活用したりしました。Quadアンビエンスは、既存のアンビエンスアセットを5.1からQuadに簡単にダウンミックスすることができるので、アンビソニックスのアセットの処理よりも便利です。聴く側のエクスペリエンスとしては、Quadアンビエンスでも充分に楽しく没入感のあるプレイヤーエクスペリエンスを提供できることが分かりました。

ゲーム内では、アンビエンスをプレイヤーのカメラに直接添付しています。プレイヤーが頭を回すとアンビエンスの変化を感じ取ることができます。また、プレイヤーが頭を回した時に起きる、アンビエンスのチャンネル間のトランジションは、SpreadやFocusを調整することで滑らかにできます。例えばQuadアンビエンスを使う場合は、方向が変わるときのトランジションができるだけスムーズに移行するように、Spreadを100%、Focusを0%にして目立たないようにしています。一方、方向の変化によってアンビエンスの切り替わりをわざと目立たせたい場合は、Focusを増やしたり、Spreadも同時に下げることさえできます。

SpreadとFocusのデモ

ここで重要なのは、1つのプロジェクトの中で様々なフォーマットのアンビエンスを使った場合に、これらの音を混ぜたり組み合わせたりしても、ゲーム全体のオーディオの空間性や方向性を維持できるということです。例えばステレオのアンビエンスとアンビソニックスのアンビエンスを同時に再生するとします。プレイヤーがゲーム中に頭を回すと、向きが変わったことでアンビエンスの変化を感じ取ると同時に、ステレオのアンビエンスから、ほかの音の要素が聞こえてきます。また、ステレオの方が楽にオーディオをデザインできます。

このゲームでは約40のアンビエンスをデザインしました。それぞれフォーマットが違ったり（アンビソニックス、Quad、ステレオ）、使い方も異なり（田舎の庭、嵐、暴風、洞窟のしずくなど）、スタイルも違います（不気味、緊張、古代、機械など）。それぞれを「レイヤー」ととらえることができます。このゲームでは、実は各シーンに3つのアンビエンス層があり、必要に応じて組み合わせて重ねています。長所は、どのシーンも1つだけのアンビエンスではなく、多様なアンビエンスで満たされることです。アレンジしながらブレンドさせることで、インポートしたアセットからより多くのアンビエンスを取得できます。同じアンビエンスアセットを異なるシーンで使ったとしても、各レイヤのVolume設定によって、それぞれのアンビエンスに深い個性が生まれます。ゲームのアンビエンスイベントはプレイヤーの頭部に添付し、Attenuation設定を無効にしてあります。

『イモータル・レガシー』のオーディオは、どちらかというとリニアなので、あえてエリア別にアンビエンスを分けました。さらにエリアをシーン別に分割すれば、同じアンビエンスが何度も繰り返されるのを防げます。レイヤをブレンドすることもあります。例えば、シーンAにはAmbienceの1、2、3があります。Ambience 2は主要アンビエンスなのでボリュームが高く、1と3は補助的なアンビエンスなのでボリュームが低くなっています。そしてプレイヤーが隣接するシーンBに入ると、アンビエンスはAmbience 2、3、そして4に変わります。Ambience 3が主要アンビエンスとなり、2と4が補助的なアンビエンスになります。このように、隣接する2つのシーンは一部同じアンビエンスになっています。アンビエンスを正しく分けて、適切なCross Fade Timeを設定すれば、シーンが切り替わるときのアンビエンスのトランジションはスムーズで快適に聞こえます。プレイヤーは、差分や境界をほとんど感じません。

アンビエンスのレイアウト

上のスクリーンショットから分かるとおり、シーン内の各エリアに、それぞれ2つのAmbience Eventがあります。プレイヤーが次のエリアに入ろうとするときに、次のエリアのAmbience Eventがトリガーされる前に、まず今のエリアのAmbience Eventがもう一度トリガーされます。そうすれば、プレイヤーが戻ったときに、確実に正しいEventをコールできます。それでは、下のAmbience Eventを例にとってみます。

Ambience Eventのデモ

どのAmbience Eventも、以下のようにまず最初にStop_All_Amb Eventをポストします:

Stop All AMBというEvent

このEventは全Ambienceを停止するためのもので、プレイヤーが何回も同じAmbience Eventをトリガーしたときに、アンビエンスが重なるのを防ぎます。つまり、これらのアンビエンスをリセットするためのEventです。Ambience Eventがトリガーされると、このEventがまず再生中のアンビエンスをすべて停止させ、次に現行シーンでトリガーされたアンビエンスを再生し始めます。StopやPlayのアクションはどれも比較的長いFade Timeが設定されているので、アンビエンスのトランジションはよりシームレスになり、プレイヤーは音の途切れや差分を感じません。

3D Position Automationのメリット

あるサウンドスケープにおいて、前述のアンビエンスはベッド要素でしかなく、「パッド」としてとらえることができます。現実的で没入感のあるサウンドスケープをつくり出すには、アンビエンス以外の音も必要です。この環境全体を装飾するためのほかのサウンド要素として、寝室の時計の秒針の音や、草むらのコオロギの鳴き声や、通り過ぎる鳥の羽音なども必要です。これらの要素は点音源のように見えますが、やはり環境の一部です。特定のゲームオブジェクトに添付できるわけではありませんが、ゲームシーンに必要な音である限り、その表現方法を考えなければなりません。例えば『イモータル・レガシー』には暗くて湿って不気味な地下墓地があります。この場合、比較的静かな環境設定で雰囲気を出せます。しかしほかの音が一切不要なわけではありません。この状況ではアンビエンス音に加えて、床板がきしむ音や、金属がたわむ音や、虫の這う音なども入れました。シーン中に存在する木製の梁や鉄枠なのゲームオブジェクトに、音を添付することもありました。またほかの音は、Wwiseを使って真似ています。例えば、プロデューサーが、特定のエリアでプレイヤーのわきを這って通り過ぎる虫の音が時々聞こえるようにしてほしい、と要望してきたときに、その場所がとても暗くてプレイヤーには実際に虫の姿が見えないとします。そうするとゲーム中に虫が存在するわけではないので、その音を添付できる適切なゲームオブジェクトもありません。この時点で利用したのがWwiseの3D Position Automation機能で、大変役に立ちました。まず虫の這う音のグループをつくり、Random Containerを作成しました。次にこのコンテナをEmitter with Automationに設定し、これらの音の動いていくパス（path）を、手作業で定義しました。さらに、ランダムな数値を設定して、パスが、虫が這うたびに異なるようにしました。

パスのシミュレーション

最後にこのコンテナをループするEventとして設定し、途中にランダムな間隔を設定してプレイヤーに添付しました。これを、アンビエンスのEventによって、特定のエリアにおいて、Post Eventでトリガーさせています。

ループのRandom設定

最終的に、このエリアにプレイヤーが入ると時々そばを虫が這って行くのが聞こえるようにして、毎回、その動くパスが変わります。同時に、Hold Emitter Position and Orientationの設定も有効にすると、これらの音がトリガーされたときにプレイヤーの動きによって、音への相対的なポジションも変わります。そうすると、プレイヤーは本当に虫がいるように感じます。

この3D Position Automation機能は、ほかにも多くの問題を効率的に解消してくれました。例えば、トラックがニュートラルポジションでアイドリングしていたとします。トラックのモデルの中心点はトラックの前方部分ではないので、このモデルにエンジン音を添付すると、トラックの中央下部からエンジン音が発生します。そこでEmitter with Automationを使い、音が出るポジションを手で調整して車の前方に移動しました。問題を解決するのにプログラマーやアートデザイナーの助けを借りる必要もありません。大いに時間を節約できました。

エンジン音の位置

下の動画は、巨大な像が出てくるシーンです。ロック解除のメカニズムがトリガーされると、解除音が様々な方向から聞こえてきます。つくり出されたこれらの音は、像の周りに円を描くように配置されています。壁の内部をシミュレーションしたり、フィジカルモデルのない遠くにあるゲームオブジェクトをシミュレーションするのに利用できます。

3D Position Automationを使ったロック解除音

カットシーンのデザイン

ゲームのカットシーンを事前にレンダリングしたり、リアルタイムでレンダリングしたりすることが可能であれば、事前に作成したトラックでカットシーンの音を実装したり、プログラムを通してリアルタイムでイベントを呼び出したりできます。前者の方法は、従来の映画やテレビドラマの制作に似ています。アニメーションのコンテンツに沿ったオーディオファイルを作成するだけです。この場合、ミキシング処理はすべて事前に行います。ゲーム中に音のコンテンツ、プロポーション、方向などの各種プロパティは変更できません。ゲームの容量やメモリ使用量に関わらず、この方式には以下2つの欠点があります。

a) アニメーションコンテンツや編集ポイントが、何度も変更されるような場合は、オーディオアセットを再編成しなければなりません。

b) 長時間におよぶ再生中に、使用中のコンピュータの性能が原因で予想外のクラッシュが発生した場合は、ビジュアルとサウンドの同期に影響が出るかもしれません。

カットシーンの音と同じように、リアルタイムのゲームエンジンコールを通して、この問題を回避できます。しかしリアルタイムでカットシーンの音を呼び出すとなると、ミキシングが非常に厳しくなります。また複雑なカットシーンでは、ポストプロダクションのトラックを細かいサウンドイベントに切り分けると生産性が落ちます。『イモータル・レガシー』では、もっと複雑な問題があります。ゲームのカットシーンがパノラマ画面でリアルタイムに表示されるので、アニメーションの再生中にプレイヤーが頭を回したり、体全体を動かしてしまうことさえ、あるかもしれません。そうなるとすべての音の方向性と距離を、プレイヤーの動きに合わせて調整しなければなりません。結局、カットシーンのデザインに2つの方式を組み合わせました。各キャラクターのセリフや動きに基づいて、ダイアログとアニメーションのトラックを作成して、それらをキャラクターに添付して、アニメーションと同時に再生させました。このようにして、すべてのカットシーン音がゲーム中に3Dで維持されるようにしました。アニメーション内のその他の些細な音（ドアが閉じる音や、ものが落ちる音など）と、頻繁にトリガーされる音（フットステップ、ガンショットなど）は、引き続きゲームエンジン経由でリアルタイムで呼び出せます。この方法で制作時間を抑えてミキシングを簡素化することができました。テスト後に、WwiseのStream - Zero Latency機能を使ったときに、PS4ではほとんどクラッシュしないことが確認できました。また、事前レンダリングした長いオーディオファイルによって発生するメモリ負荷も、これで軽減できます。