概要

Impacterは、元祖SoundSeed Impactプラグインの精神から生まれた新しいソースプラグインです。このプラグインは、デザイナーがオーサリングツールに読み込んだインパクト（衝突）のサウンドファイルを分析し、それをシンセシスモデルとして保存します。ランタイムに元のサウンドを再構築できるほか、直観的に使えて物理情報も取り入れたパラメータやクロスシンセシス機能などを活用して、新たな音のバリエーションを生み出します。

ImpacterのパラメータであるMass（質量）、Velocity（速度）、Position（位置）に基づいて動作としてモデル化されるのは、それぞれ、インパクト音を出すオブジェクトの大きさ、インパクトの力、そしてインパクトを受けた場所の反応音です。どのパラメータも、ランダムに変化させることができます。 

クロスシンセシスとして、複数のサウンドファイルをロードし、プラグインで様々なサウンドの「インパクト」や「ボディ」の要素をランダムに組み合わせて管理します（詳細は後述）。デザイナーがあえて使いたい具体的な音の組み合わせがあれば、個々のファイルのインパクト部分やボディ部分を、ランダム化の選択肢に入れたり除外したりすることもできます。

ワークフローは初代プラグインImpactと似ていますが、使いやすさが改善されました。オーディオ分析はWwiseオーサリングツールがバックグランドで担当するので、外部のオーディオ分析ツールが不要になりました。もともと、Impactでもクロスシンセシスで組み合わせることができましたが、音が不安定になったりゲインが大きく変わったりするリスクが多少あったのに対し、Impacterでは、どのようなクロスシンセシスの組み合わせでも安定します。複数のサウンドのグループの作業もしやすいUIとなり、場合によっては、ランダムな選択による再生がランダムコンテナの拡張版のように機能します。また、パラメータを慎重に設計し、今までより、対象サウンドにとって物理的な意味のある、直観的に使えるパラメータとしました。

開発の動機

圧縮されたオーディオに、サウンドとしてクリエイティブなトランスフォーメーション（変化）を適用する様々な方法の研究が、Impacterの開発へと発展していきました。変換させるために、幅広く、基本的に使いやすいオーディオ表現をつくり出すことは、柔軟性を高めれば豊かなトランスフォーメーションの可能性が犠牲になることが多く、簡単ではありませんでした。 

ところが、特定領域のサウンドに絞ると、色彩豊かな音に生まれ変わる可能性が高まります。最優先の選択肢として期待したのが、直観的に把握できる物理的なパラメータで操作するインパクト系の音でした。スペーシャルオーディオの目的は音響の動き（音の伝播という物理特性）をクリエイティブに左右する能力を、サウンドデザイナーに提供することですが、これまでの成果を補強すべく、コリジョンなどの物理的なイベントによって生み出される音に対してもサウンドデザイナーが自由に操作できるシンセサイザーを、私たちは目指しました。 

私たちは、一から音を合成するよりも、デザイナーが既存の素材を使って音をつくり出す方が新鮮さが育まれることを期待します。そうすれば、お気に入りのフォーリーレコーディングで、ゲーム物理を反映させたトランスフォーメーションを実現できるのです！また、優れたサンプルライブラリやレコーディングの多くはインパクトサウンドを1つ入れたようなグループで提供しないことを充分に承知しているので、フットステップや、銃弾や、激突などのグループに対応したワークフローを切り開くことが重要でした。このようなインパクトサウンドのコレクションをサウンドデザイナーが使いこなし、その隙間にバリエーションを生み出すのに、クロスシンセシスこそ効果的な方法です。

定義

Impacterの詳細に入る前に、このプラグインの中にあるアルゴリズムの働きに関する定義や概念を、ここで明確にすることが有意義だと思います。 

ソースフィルタモデル とは、 励振 ソース信号がフィルタを通ることに基づくサウンドシンセシスのモデルです。一般的に音声をモデル化するのに使うのがソース信号とフィルタで、 声門パルスの励起（声帯を通る空気）に、フィルタ（声道）を適用し、母音のかたちにします。LPC（Linear Predictive Coding）のような古典的な分析手法では、入力信号をフィルタと残りの励起信号に分解します。 

図1. ソーススペクトルと、それを形づくるフィルタ関数の一例。ソーススペクトルが声門パルス励起に該当し、フィルタ関数の形状が声道の形状に該当します。（画像を新しいタブで開くと、大きく表示されます。）

周波数 ワープ は、周波数領域（スペクトル）の不均等なスケーリングです。線形スケールの周波数を、別のスケールに再配分するのですが、多くの場合、0付近の下の方のスペクトルを圧縮し、高い方を引き延ばして余った空間を埋めるか、その逆を行います。ワープを複数の正弦波の周波数に直接適用したり、周波数ドメインの曲線に該当するフィルタ係数に適用したりできます。

図2. Impacterで使うフィルタレスポンスが、ワープによって形づくられる典型例。（画像を新しいタブで開くと、大きく表示されます。）

あえて単純化すると、物理的な素材における様々な 音響モード の活性化が、異なる周波数におけるエネルギーの存在であると理解できます。そして、Impacterのようなシンセシスアルゴリズムの場合に影響を受けるのは、シンセシスアルゴリズムの個々のフィルタバンドや正弦波のポジションとゲインです。物理の考え方を真似た音響モードでは、励起される（衝突される）素材の、表面のどこで衝突が起きたかによって、起動されるモードが決まることが、直観的に感じ取れます。例えば、膜の中央への衝突は、最小限の数の音響モードを起動するのに対し、膜の端の方の衝突では、起動されるモード数が増えます。この動作をパラメータで制御するとなると、後述の通り、表面の中央からの距離をモデルに反映するだけで充分です。単純化されたモデルでは、中心から同じ距離の円の周りであればどこでも、音響的に近似する動作となります。これは、ImpacterのPositionパラメータの仕組みを理解する上で役に立ちます。 

さらに、オブジェクトの大きさは中にある音響モードの数に関係します。大きいオブジェクトには、より低周波の音響モードがより多く入っていて、複数の場所で励起されると、スペクトルの密度が濃くなります。一般的に大きさが大きくなると、インパクトサウンドの基本周波数が新規の低周波モードによって変化することで、ピッチが低くなると認識されます。研究 [1] によると、ワープを行うとスペクトルの下部でモードの密度が高まる様子が再現されるものの、シンセシスアルゴリズムで生成されるモードの数は一定なので、オブジェクトの大きさの変化を表現する便利な方法だと分かっています。実はこれは、より多くのモードを合成させてアルゴリズムの負荷を増やすようなことはせずに、大きさの変化の効果をモデル化できる、便利な方法なのです。

シンセシスと分析

Impacterのシンセシスアルゴリズムは正弦波モデルとソースフィルタモデルを組み合わせるという考えを基本とします。つまり、オリジナルの入力音はすべて、正弦波の組み合わせとフィルタバンクを通過する励起信号を使い、ランタイムに再構築されます。概念としては、ソースフィルタのコンポーネントからくる励起信号をImpacterの「インパクト」コンポーネントに関連付け、ソースフィルタモデルのフィルタバンクと正弦波を「ボディ」に関連付けます。

Impacterのオーサリングプラグイン内にある分析過程は、2段階のアルゴリズムに基づいていますが、まず正弦波シンセシスモデル用に周波数とエンベロープの情報を抽出し、次にフィルタバンクと残留励起を抽出してソースフィルタのシンセシスモデルに使います。

第1段階の「ナローバンド」分析では、入力音のスペクトルにピークピッキングを実施し、インパクトで最も共振する周波数を探します。共振ピークを音からフィルタで分けて最初の残留周波数を出すと、その周波数やエンベロープ情報が、正弦波シンセシスモデル用にパラメータとして保存されます。次に、ナローバンドの残留を「ワイドバンド」処理に送り、残留スペクトルを使いソースフィルタモデル用のフィルタのバンクを設計します。最終的な励起信号は、残留やフィルタバンクの逆畳み込みで生成されます。

図3. Impacterの中の基盤となる分析とシンセシス処理のシステム図

再シンセシス

分析アルゴリズムがオーサリングツール内で処理の多くをこなしてくれるので、ゲームのランタイムにシンセシスアルゴリズムが実行する作業は非常に少なくなります。具体的には、いくつかの正弦波をbiquadフィルタバンクを通した励起信号とミキシングするので、FTTは不要です！そしてご安心ください、元の入力音の再構築がパーフェクトなので、入力音で失われる部分は一切ありません。 

トランスフォーメーション

このハイブリッド型シンセシスモデルは、シンセシス過程で、サウンドの音色を、個別に、またはまとめて、形成するための様々なトランスフォーメーションを提供します。 

1. フィルタバンクの係数や正弦波の周波数をワープさせることで、インパクトの音色や、認識されるピッチに、均一でない影響を与えることができます。

2. フィルタバンクのスペクトル形状や、正弦波のポジションに関係なく、励起信号をリサンプリング（ピッチアップまたはピッチダウン）できます。

3. リサンプリングした励起の長さに合わせて各正弦波のエンベロープを引き延ばしたり減衰させたり、インパクトサウンドの共振をさらに分離させたりできます。 

4. 特定の正弦波やフィルタバンドをあえてオン・オフすれば、LOD（レベルオブディテール）を直観的に制御でき、ポジションに配慮した音響モードの励起をモデル化するようなマッピングもできます。

5. FM（周波数変調）を、各正弦波に適用できます。インパクトサウンドの粗さの知覚的な効果を制御するのに、FMパラメータのマッピングを利用できることが、研究で分かっています。[2]

サウンド例

トランスフォーメーション1、2、3はすべて、ImpacterのMassパラメータで制御しています。 

Mass: 

4は様々な方法を使い、VelocityやPositionの制御を提供しています。 

Velocity: 

Positionの例では、0から1の範囲のパラメータが、インパクトを受けた面の中心からのラジアル距離のようなはたらきをします。 

Position: 

最後に、5がRoughnessパラメータのベースとなりました。

Roughness: 

クロスシンセシス

Impacterプラグインは複数のサウンドファイルのソースを読み込み合成することができ、ハイブリッド型の正弦波ソースフィルタのモデルは、各サウンドソースからくる異なるモデルのコンポーネントのクロスシンセシスに対応しています。シンセシスモデルのコンポーネントを組み合わせる方法は多数ありますが、クロスシンセシスで最も優れた結果を出してくれたのは、あるファイルの励起を「インパクト」とし、別のファイルのフィルタバンクと正弦波を「ボディ」として組み合わせたときでした。そこで、このようなインパクトとボディが選べるようなUIをImpacterで提供しています。  

Wwiseな知恵　Wwisdom

注意：不一致な音を組み合わせると、正弦波のリンギングとインパクトとのずれが生じることが多く、これはナローバンドのピークが、インパクトのスペクトルとのオーバーラップや関係が少ないためか、フィルタバンクが強調するスペクトルエネルギーがインパクトに含まれないためです。クロスシンセシスは、似たようなグループの音を順列するときに最もうまくいくようです。フォーリーセッションのフットステップが n 個入っているようなセットは、パラメータが変わる前に、簡単に、微妙に違うn² 個のバリエーションに展開できます。

結論と用途

Impacterは、ゲームオーディオのサウンドデザインに向けた新しい実験的な方法を提供することを目標に、開発されました。特定のサウンド分野（インパクト）に焦点を絞ることで、様々な使い方が可能なプラグインができあがりました。バリエーションを必要とするサウンドグループにおいて、クロスシンセスによるランダムな順列に、Impacter内蔵のパラメータのランダム化が加わり、ランダムコンテナを拡張したような動作が成立します。デザイナーがゲーム内の物理条件（コリジョン、速度、サイズなど）に影響されるRTPCやイベントにアクセスできれば、直観的に、それらをフォーリーサウンドの物理情報を活用したトランスフォーメーションにマッピングできます。 

今回、Impacterを実験的なプロトタイプとして提供しますが、この技術や品質には絶対的な自信があります。Impacterは、トラブルもクラッシュもなくあなたのオーサリングワークフローにシームレスに取り込むことができるはずで、ゲームランタイムには軽量で安定したシンセシスアルゴリズムとして、メモリやCPU予算を圧迫することなく動きます。

引用文献、注釈

[1] - Penttinen, Henri, Aki Härmä, and Matti Karjalainen. "Digital guitar body mode modulation with one driving parameter." Proceedings of the DAFx-00 Conference, Verona, Italy, December. 2000.
[2] - Aramaki, Mitsuko, et al. "Controlling the perceived material in an impact sound synthesizer." IEEE Transactions on Audio, Speech, and Language Processing 19.2 (2010): 301-314.