スマホ用VRアプリ ‘Dirty Laundry by Blake Ruby’ ーオーディオの説明ー

Hi。オーディオエンジニアのジュリアン・メッシーナ（Julian Messina）です。ビジネスパートナーのロバート・クンバー（Robert Coomber）と私は、ミュージシャンのブレイク・ルービー（Blake Ruby）とコラボレーションして360度のイマーシブなミュージックエクスペリエンスをつくるにあたり、Wwiseを使ったので、その理由を説明したいと思います。機器のセットアップや、ブレイクのファンたちに最高のエクスペリエンスを届けるために解決してきた諸問題を、紹介します。

自己紹介

ロバートも自分もオーディオエンジニアで、ベルモント大学を最近卒業しました。多くの人と同様に、音楽やビジュアルアートが大好きです。この2つの関係性に着目し、私たちは、両者を感じるエクスペリエンスをさらに引き延ばす、新しいテクノロジーの革新的な使い方を模索しています。音楽とビジュアルアートの美しい表現をつくり出す新たな最前線となるのが、スペーシャルオーディオやゲームエンジンだと考えています。そうしたことを踏まえて、イマーシブプロジェクト ‘Dirty Laundry by Blake Ruby’ が生まれました。 

なぜ、3Dオーディオに？

このイマーシブプロジェクトでロブとコラボレーションする前に、私はブレイク・ルービーのレコード『A Lesser Light to Rule The Night』に携わっていました。レコードの仕事をしているときに、ブレーク自身が、自分のパートの多くを自分で録音していることに気付きました。そこで、没入感のある360環境こそ、彼の多彩な能力を今まで知らなかったファンたちに見せる絶好の場だと思ったのです。決して簡単な作業ではないことを、ロブも私も分かっていましたが、アーティスト本人が積極的に辛抱強く付き合ってくれたので、ずいぶんスムーズに進みました。 

プロジェクト ‘Dirty Laundry’ をスタートさせる前に、数え切れないほどの360コンテンツを2人で見ました。ロブも私も全体的に、特にオーディオに関しては、がっかりしました。この時に見た360プロジェクトのオーディオは基本的にモノラルかステレオで、スペーシャルオーディオだったとしても、フィルターを適用したバランスの悪いダイナミックすぎる音に聞こえてしまいました。私たちは2人とも、音楽に関しては、レベルの低いエクスペリエンスだろうと想像されるのは受け入れ難いと感じます。

私たちはこのプロジェクトを、素晴らしいイマーシブ360オーディオエクスペリエンスを届けるための機会と考えました。ブレイクと協力することで、正確なオーディオ表現を、慎重に時間をかけて彼のリスナーに届けるチャンスです。最初に直面した課題は、最大限のエクスペリエンスのために、プロジェクトをどこに納めるかでした。ダウンロードできるアプリケーション内にコンテンツを入れた方が、ブランドとオーディオのエクスペリエンスがより良くなるはずです。360エクスペリエンスをFacebookやYouTubeにあげることも可能ですが、私たちが目指したのは、最高峰。また、ほとんどの消費者はヘッドセットを持っていないことも課題でした。今はOculus QuestのようなシステムのおかげでモバイルVRが普及し始めていますが、ブレイクのファンが全員、すぐにこのテクノロジーを入手できるわけではないのは分かっていました。対象が「ゲーマー」だけでないと知っていたので、iOSで展開することにしました。

Wwiseを選ぶ

最初はUnityを使おうと考えたのですが、自分たちがやろうとしていた、多数のチャンネルによる高品質なサウンドには、Unityでは限界があることが徐々にわかってきたので、ほかの方法も検討しました。Wwiseを使えば、最終ミックスを16チャンネルのアンビソニックオーディオとして提供できます。これより少ないチャンネル数だと、オーディオ品質もミックスの再現も大幅に劣化してしまいます。ロブと私は、この経験を終え、Wwiseエコシステムでイマーシブミュージックのクリエイターの柔軟性が高まり、妥協しないサウンドをもたらせることについて、思い返してみました。アプリケーションのプログラミング面が最終段階に入るにつれ、この点がより顕著になりました。 

複雑なプロジェクトで、プロダクションからプリプロダクション、そしてセットアップやデザイン、さらに実装に至るまで、いくつもの「変数」が絡んできます。フロントエンドやバックエンドに時間がかかり、特にiOSに搭載するために時間を要しました。それでも、複雑極まるなか、音の聞こえ方について不安はありませんでした。アーティストと仕事をするときに、オリジナルサウンドと全く同じとはいかなくても、限りなく近い音を出すことが、我々オーディオエンジニアの大きな責任です。そこをWwiseに頼ることができ、とてもありがたかったです。特にブレイクのファンの多くにとって、初めてのハイフィデリティのイマーシブミュージック体験となるわけで、強烈に印象に残るはずです。 

プロダクション ー自分たちの経験ー

実際のプロダクションはColumbia Studios Aで行われ、私たちの希望通りのセットをアレンジできる広さがあり、Starbird SB-1スタンドや、Pro Tools HDなど、必要な機材も揃っていました。スポットマイクロホンと5.0サラウンドマイクロホン アレイ（OCT 5:Optimized Cardioid Triangle）や、1次アンビソニックマイクロホン（Sennheiser AMBEO）をトラックしました。モニタリングの内訳は、アクティブYamaha HS5スピーカーが5台と、アクティブKLHサブウーファー1台で、Centerチャンネルスピーカーを北方向から+90˚の角度で配置、Left、Rightチャンネルのスピーカーを北から±30˚で配置、Left-surround Rear、Right-surround Rearのチャンネルを北から±110˚で配置しました。また、dearVR Ambi Microプラグインを使ってアンビソニック出力をバイノーラルにデコードしてモニタリングするように設定した、ヘッドフォン出力もありました。サラウンドやアンビソニックのオーディオをキャプチャーする上で、ステップゲインのポテンショメータや低ディストーションのある、マッチしたプリアンプを必ず使うことが、一番の注意点でした。以上の理由から私たちは、8chのMillenia HV-3Dを使いました。 

聞いてみると、予想通りのことに気付きました。パフォーマンスごとに録音したスタックされたサラウンドやアンビソニックのトラックに起因する、高くなったノイズフロアや、スポットマイクロホンとアンビソニックマイクロホンの間で自然に発生するコーラスなどです。それに伴い、ボーカルパフォーマンスの一部について、全体的に不満を感じました。通常であれば簡単に解消できるような問題も、3Dオーディオプロジェクトという特殊な条件下で、一気に難しくなります。ノイズフロアに対応することは、サラウンドマイクロホンやアンビソニックマイクロホンのフィルターアウトを意味します。そうすると臨場感に影響が出て、あとから行うスペーシャリゼーション用の音像にも影響します。コーラスの問題に対応するには、サラウンドとアンビソニックのレコーディングをとるのか、あるいはスポットマイクロホンの特定のレコーディングをとるのかの選択をせまられ、失われる情報が多すぎます。

ノイズフロアとコーラスの問題を解決

ノイズフロアとコーラスの問題を解消すべく、Columbia Studiosに戻り部屋のアンビソニックインパルス応答を録音し、あとでAmbiVerbというアンビソニック3Dコンボリューションリバーブと使えるようにしました。部屋のインパルス応答をとらえるには、本番と似た反射をキャプチャーできるように、できるだけ近い日に行う必要がありました。インパルス応答を録音するのに、同じSennheiser AMBEOマイクロホンと、同じMillenia HV-3Dのマイクプリアンプを使っています。最初のインパルス応答は、正弦波のスイープで、各パフォーマンス位置に配置したアクティブYamaha HS8スピーカーに出力したものを、Pro Toolsで収録しました。次は風船のインパルス応答で、これも各パフォーマンス位置に配置しました。比較できるようにインパルス応答を2種類とりましたが、正弦波スイープの畳み込みと逆畳み込みをしたあとに、このプロセスが意図通りにうまくいくと思い込むのは避けたいと思いました。

インパルス応答を作成したあとに、新しい同期済みのボーカルのオーバーダブをコンピングしてPro Tools内でステムを作成し、いよいよオーディオミックスをスタートする準備ができました。ミキシング用のDAWとしてReaperを選んだのは、非常に柔軟で、なにより、dearVR製品と統合されていたからです。3Dオーディオのミキシングは多面的で、途中で重要なステップがいくつもあります。まず、どのサウンドを空間配置して、どのサウンドを固定つまり減衰させずに、「ヘッドロック（頭部に固定）」した向きで残すのかを計画します。私は、初期の段階から、「ヘッドロック」した向きが、2つの場面で、今回のニーズに特に役立つと考えましたが、1つ目はLFEチャンネルのように低音域の情報を送るバスとしてモノラルで残したいときで、2つ目はリバーブやディレイなど従来のステレオAUXエフェクト用のバスの役割を担い、視聴者が頭をどこに向けても一定に保たれ、パンニングオートメーションを維持させたいときで、なぜならば、ディレイやリバーブを空間化すると、視聴者を取り囲むこのようなエフェクトは、視聴者が一定方向を向くように、意図せずに仕向けてしまう、あるいは指示してしまう可能性があるからです。 

dearVRのプラグインや、Spatial Connectソフトウェアを使えば、ミキサーが自分のヘッドフォンでバイノーラルモニタリングを設定することができ、さらに自分のヘッドセット経由でヘッドトラッキングと動画のフィードを設定できます。ミキサーは次に、動画内のアクションが起きている場所に合わせて、3D空間内にオーディオソースを配置できます。私はステレオの楽器のバスを組み合わせて実験してみましたが、これが効果的なのは、ピアノなどステレオでレコーディングした情報に大きく依存するような楽器や、ステレオシンセサイザーのような直接入力のソースだけ、ということが分かりました。ドラムのようにスポットマイクが多数あるような楽器は、ステレオバスを使わず、楽器の各部分が動画内で占める位置に基づいて、そのモノラルソースを配置することにしました。3Dコンボリューションリバーブ用に、インパルス応答が必要だと、前述しました。コンボリューションリバーブがない、ダイレクトシグナルだけを聴くと、無響室で、音を出力する複数のスピーカーに囲まれているような感覚です。スポットマイクで必要なダイレクトサウンドを追加しましたが、正確な音響空間の反射は提供されず、収録日に録音した情報を使うと、コーラスやハーシュネスが出現してしまいました。3Dコンボリューションリバーブを、風船を使って収集したインパルス応答と合わせて利用することで、収録した部屋を忠実に再現するリバーブを人工的につくり出せました。なおこれは、リバーブでギャップを埋めて、反射の欠如による不自然さを排除するためだけの機能として使っています。それぞれの位置の楽器に、専用の3Dコンボリューションリバーブ用バスがあり、フロントエンドはパラメトリックEQでリバーブの周波数特性を好きに調整できるようになっています。

作成した最終オーディオファイルは、16 ch のアンビソニックファイル（3次）1つと、「ヘッドロック」のステレオファイル1つとなりました。3次アンビソニックのファイルが重要だったのは、より多くの球面調和関数を提供してくれるからで、これでオーディオのフィルタリングが目立たなくなり、さらに、デコードしたときにオーディオソース同士の角度分解能が大きくなります。ただし、使うチャンネル数が多くなるので、それに対応できるミドルウェアが必要でした。Wwiseはその性能と、Auro3Dのライセンスもあるので、バイノーラルに適切にデコードでき、当然の選択ともいえました。

Wwiseを採用したことで手順は増えましたが、私たちが求める品質を達成するには最も効率的な方法でした。1次や2次ではどうしても、録音した楽器を音響空間で使ったときに、良い音にならないと私たちは考えます。カラーレーションや、ほかのディストーションの影響が多すぎて、気持ちが損なわれてしまいます。私たちが採用した数々のテクニックは、ほとんどが必要にせまられた結果でしたが、似たようなテクニック、例えばヘッドロックしたステレオをベッドのように使うことなどは、優れた点が複数あり、今では3D音楽を動画以外でミキシングするときの私のアプローチとなっています。

このアプリは App Store で提供中で、このリンクから閲覧できます。あなたのつくったコンテンツについて質問があれば、ロバートも私も、 ウェブページ で受け付けています。