このシリーズでは、従来、現在、そして最新のリバーブテクニックを、没入感とスペーシャル（空間）化の観点から幅広く見ていきます。前回までの記事で、リバーブで表現する没入感とVR（バーチャルリアリティ）の関係を探り、従来のリバーブアルゴリズムの裏にある技術を確認しました。今回は、音響シミュレーションの最近の傾向と、スペーシャルリバーブのエフェクトへの応用について考えます。

 

鉄板を使った音伝播の音響シミュレーション

これまで見た通り、従来のリバーブは今でも重要なテクニックですが、没入感を高める手段を改めて探る必要があるのも事実です。制作現場の新たなニーズに応えてリバーブのテクニックが進化したのと同様に、音が鳴り響くバーチャル空間を表現しようと、VRの需要から技術革新が推し進められています。

バイノーラルアルゴリズムのおかげで、近づいてくる音の方向性をヘッドフォンで明確に感じ取れるようになりました。バイノーラルアルゴリズムはこれからも進化を続け、近い将来、個人に合わせて算出されるようなHRTF（Head Related Transfer Function、頭部伝達関数）フィルターが開発されるでしょう。それと同時に、直接音後のリバーブエフェクトもスペーシャルキューを保持できるようにする必要があります。従来のリバーブアルゴリズムは、時間と共に効率的にエコーの密度を高めますが、スペーシャルキューを表現するのに不可欠なインタラクティブ性が、その過程で失われてしまいました。これは特に、重要な知覚的情報を含むアーリーリフレクションで顕著です。この問題を克服するには、シミュレーションのアルゴリズムに仮想空間の3次元情報を取り込む必要があります。

ヘッドフォンを使うとリスナーが常にスピーカーの中央にいるため、臨場感あるオーディオエフェクトを表現しやすくなります [1]

VRサウンドの可聴化を実現するために、従来のリバーブにとらわれない様々な音の表現方法を検証します。言い替えれば、仮想空間のリバーブを聞くということです。仮想音響の可聴化とは、物理や画像の考え方を取り入れて音の伝播をシミュレーションする研究分野です。実際に、空間情報を取り込んで現実的なシミュレーションを実現するために、閉ざされた空間で音がどのように伝播するのか、そしてどうシミュレーションすべきかを、再考する必要があります。

スペーシャルサウンドには、モントリオールにある157のスピーカーが設置されたSATospherのようなマルチチャンネル設定が必要[2]

音の伝播は、非常に複雑な現象です。シミュレーションの精度を向上するには、膨大な量の演算が伴います。そこで、それぞれの方式の強みや弱み、そしてどのような知覚的な結果があるのかを、検討することが重要です。

音の伝播

我々が音として感知するのは急激な振動によって解放されるエネルギーのことで、力学的な波動が様々な媒質を伝わります。声帯などの音源の振動変異からくる運動エネルギーは、周囲の空気などの媒質の粒子に伝わります。音自体が動くのでなく、運動エネルギーが粒子から粒子へと伝わり、エネルギーを伝える媒質の粘性によって徐々に散逸するのです。

密度の濃い媒質では粒子が緊密に詰まっていて伝播が速く、重い媒質では粒子を動かすのに必要なエネルギーが大きくなる分、エネルギー散逸が増加します。また、音響インピーダンスという特性が、媒質における伝播が周波数によって変わる様子を表します。大気から壁面の媒質に伝播しないエネルギーは反射して、部屋のリバーブに貢献します。レコーディングスタジオでリバーブを減らすために繊維性の素材など低密度のものが使われるのは、このためです。媒質表面の特質によって、反射方向も変わります。ここで重要なのは、音の波長によってこのような現象は変化するので、周波数に依存する現象だということです。波長が長ければ低周波音、波長が短ければ高周波音として感じられます。

音の周波数に依存する特性は、回析という音伝播のもう一つの重要な要素を考慮すると分かりやすくなります。ゲームオーディオで回析をオブストラクションと呼びますが、これを通して音波が障害物や開口部の周りを回って音源から直線位置にないリスナーまで届きます。一般的にオブストラクションを再現するためにローパスフィルタ―を使うのは、実際の回析の特徴に基づいています。障害物より短い音波が障害物に接すると、音は反射します。ところが、障害物より長い音波は障害物を回ります。つまり、この2つの周波数を1つの信号にまとめた状態を考えると、同じ障害物に向かって伝わった場合、その壁の裏にいるリスナーには低周波（波長が長い方）だけが聞こえます。障害物の形が複雑になると、このエフェクトもややこしくなります。例えば、人間の頭を回る音の回析は非常に複雑で、耳に付けるマイクとインパルスサウンドを採用して録音する必要があります。このようにHRTFフィルターをキャプチャーしてバイノーラルエフェクトを作成します。媒質の大きさ、形状、密度、音響インピーダンス、表面材質などは全て、周波数の異なる音が空間を伝わる様子に影響する媒質の特性です。

 

波長が短ければ障害物に反射しやすく、長ければ回析しやすくなります。

逆に、光は全く別の方法で伝播します。光は電磁波の一種で、真空状態でも伝わります。実は、真空状態でなければ光は伝播しません。つまり媒質の粒子間を通過するのです。密度が高い媒質ほど、伝播が遅くなったり阻止されたりします。更に、目に見える光は、耳に聞こえる音より波長がかなり短めです。目で見える光の波長は400-700 nmであるのに対して、耳に聞こえる音の波長は17 mmから17mです。速度は、大気中の音速が秒速343 mであるのに対して、光は秒速 3億 m弱です。だからこそ、反響音のディレイを細かく気にしなければならないのです。このように光と音の特質が違い、様々な媒質や障害物に対する光と音の波が、特に回析などで、異なる現象を見せます。とはいえ、閉ざされた空間での回析はそれほど目立たないので、音波を表現するためにまず光の伝播を参考にするのも悪くありません。 

レイベース法（Ray-based methods）

レイベース法は、光の伝播にヒントを得た音伝播のシミュレーション技術です。音が直線で伝播するとしたアプローチで、簡単な線形代数を使えば複数の壁面の位置に基づいて音の反射方向を簡単に計算できます。音速が遅いことを考慮して計算モデルにディレイを追加して、周波数によって壁への吸収が異なる点をフィルターでシミュレーションします。レイベース法では通常は形状を簡素化して処理しますが、高周波のアーリーリフレクションの音伝播を、比較的正確に素早くシミュレーションできます。実際の部屋の形状は複雑であることが多く、反射面も増えるので、エコーの密度がより豊かになります。このため、後期反響はこの方式であまり上手く再現できません。また、空間の形状が複雑になると、低周波の回析が際立つ要素となります。その場合、反射するそれぞれの光線（レイ）の進む方向が分かっていれば、別途シミュレーションできます。

レイベース法から派生した主な方式として、虚像法（image source method）とレイトレーシング（ray-tracing）の2つがあります。虚像法は、音の反射経路を壁面毎に計算します。処理を継続して、反射自体が他の壁面に反射する時の高次反射も含めることもできます。レイトリーシングでは光線が様々な方向に出され、障害物にあたると反射します。面から反射する度に、複数の新しい光線が異なる方向に出されます。壁面素材や部屋の隅などから散乱する音をシミュレーションするために、ランダムな方向を複数選択できます [4]。このアプローチは室形状が複雑な状況に有利ですが、演算量が増えます。両者とも、アーリーリフレクションを重視できるようにアルゴリズムの深度を制限できます。音源やリスナーの位置を基に各光線の正確な位置が分かるため、レイベース法で音の空間的や時間的な位置をインタラクティブに決めることができます。音伝播の距離をシミュレーションするために、大気中の音速に基づいてディレイが導入されます。

エジンバラ大学のAcoustics and Audioグループに所属するBrian Hamilton提供の以下の動画 [4] を参照してください。レイベース法を使った音源の伝播の可視化です。