Object-Basedのオーディオパイプライン

Wwise 2021.1オーディオパイプライン

Wwise 2021.1では、各種プラットフォーム向けの音のレンダリング方法を拡張し、最終的な出力コンフィギュレーションに、最も精度の高い空間配置を届けられるように機能を刷新しました。Wwiseのオーディオパイプライン全体が進化し、個々のAudio ObjectのポジションやAudio Objectに対応するプラットフォームのMetadataが持続できるようになりました。プロファイリングの改善やユーザーインターフェースの向上をまとめて追加し、ルーティングやミキシングの内容を明確に可視化できるようにしました。Busステータス、Processingステータス、そして新しいAudio Objectプロファイリングビューなどが追加されました。また、Audio Device EditorやSystem Audio Deviceも更新され、異なるアウトプットコンフィギュレーション用にオーサリングできるようなプロパティが入り、そのメータリングやプロファイリングもできます。

System Audio Deviceの更新

Audio Deviceのプロパティ

クロスプラットフォーム対応のSystem Audio Deviceが改定され、特定プラットフォームの3D Audioに対応するようになったので、プラットフォーム別のMixerプラグインが不要になりました。System Audio Deviceは、エンドポイントに送るアウトプットの差別化を、Main Mix、Passthrough Mix、Objectsに分けることができます。エンドポイント側で受信するアウトプットタイプは、そのプラットフォームで有効になっているAudio Deviceプロパティによって決まります。これらはAudio Device Editorで設定します。 Allow 3D Audio オプションを有効にすると、Audio Deviceが、そのプラットフォームの既存3D Audio機能の起動を試みることが、許可されます。なお、これは3D Audioが起動されることを保障するものではなく、3D Audioにそのプラットフォームが対応している場合に限り、起動されます。このオプションの選択を外すと、全ての可能な3D Audio機能の選択が外れます。 ほかにも、あなたのプロジェクトで対応する各プラットフォームに最適のコンフィギュレーションを、Audio Deviceが選択するのを、補助するプロパティがあります。Audio Deviceの各種プロパティの詳細は、 Audio Device Editor を参照してください。

Audio Deviceメーター

Audio Device Editorにメーターが追加されました。Main Mix、Passthrough Mix、そして個々のAudio Objectのそれぞれのピーク振幅を、そのAudio Deviceで有効になっているアウトプットタイプに合わせて表示します。

Audio Device Info

初期化されたAudio Deviceプロパティ情報が表示され、エンドポイントでオーディオをレンダリングするための設定が把握しやすくなりました。Device Infoパネルに、Audio Deviceプロパティのステータスや設定内容が表示され、Is 3D Audio Active（3D Audioがアクティブか）、Is Passthrough Active（Passthroughがアクティブか）、Available System Audio Objects（利用可能なシステムオーディオオブジェクト、該当する場合のみ）、System Audio Objects Used（使用中のシステムオーディオオブジェクト、該当する場合のみ）、Main Mix Channel Configuration、Passthrough Channel Configuration、Endpoint Channel Configuration、Main Mix Buffer Sizeなどが表示されます。

Audio Bus: Audio Objects

Bus Configuration: Audio Objects

新しい選択肢として、Audio ObjectsがAudio BusとAux BusのConfigurationリストに追加されました。Bus Configurationの設定をAudio Objectsにすると、その3D情報とカスタムMetadataを使い、このバスにルーティングされるサウンドが個別に処理されます。

Busのステータス: アイコン

Audio BusやAuxiliary Busのステータスが一目で分かるように、アイコンを一式、追加しました。アイコンは、Project ExplorerのMaster-Mixer Hierarchyと一部のプロファイリングビューに表示されます。バスのステータスアイコンは、バスのオーサリング処理状況を示し、Master Audio BusへのミキシングやAudio Objectの流れを理解する方法を提供してくれます。

Busのステータス: Processing、Bus、Output Configuration

Master-Mixer Hierarchyのバスが更新され、オーサリングされたプロパティの理解を深めるために、Bus Statusの様々な側面が表示されるようになりました。 具体的には、Processingステータス、Bus Configuration、そしてOutput Configurationが、Property EditorのGeneral SettingsタブにあるBus Status (Authoring)グループに表示されます。この情報はオーサリング中に更新され、接続中やプロファイリング中にも更新されます。バスを通るサウンドにバスのエフェクトがどう影響するのかが、見やすくなりました。

マウスをProcessingフィールドの上に置くと、追加の情報が表示されます。ツールチップに、このバスがProcessingステータスに影響を与える項目一覧が表示されます。

以下は表示内容の一部です:

• Master busである
• Auxiliary busである
• バスボリュームにRTPCがある
• 意図的に設定されたChannel Configurationがある
• Auxiliary Sendがある
• Effectがある
• Listener Relative Routingがある
• Speaker Panningが、Balance-Fadeに設定されている
• HDRがある
• Mixer Pluginがある

Audio Objectの各種プロファイリングビュー

Audio Object List

Audio Object Listは、コンテキストに応じて変わるBus FilterとAudio Object Listで構成された新しいビューで、導入されたばかりのFilter Toolbarを活用しています。オーディオパイプラインを通過中のAudio Objectのステートを開示してくれるビューで、処理中に発生したルーティング変更なども表示されます。Effectステージボタンを使い、Audio Objectの表示範囲をAudio Object List内で切り替えれば、Pre-Effects段階や、Post-Effects段階や、全Effect段階などを確認できます。

Audio Object 3D Viewer、Audio Object Meter、Audio Object Metadata

Audio Object Listビューで選択した内容に基づいて、次の3つの新しいビューにおけるAudio Objectの表示範囲が決まります: Audio Object 3D Viewer、Audio Object Meter、そしてAudio Object Metadataです。これらのAudio Objectビューは、Audio Objectの3D情報が、3D表示として、振幅値として、そしてMetadata値として表示されます（つまり3D Position、Azimuth、Distance、Elevation、Focus、Spatialization、Spread、Custom Metadata）。

Metadataのオーサリング

Audio Objectと合わせて使えるカスタムMetadataのオーサリングワークフローが、Property Editorの新Metadataタブの一部として追加されました。カスタムMetadataは、ShareSetとして作成したり、カスタム設定として定義したりして、この先のパイプラインの処理に対して情報を提供します。Wwise System Output Settings Metatdataをオーサリングすれば、Wwise ObjectのMix Behaviorを、Audio Deviceのコンフィギュレーションに基づいてMix to MainまたはMix to Passthroughにアサインできます。

Audioメニュー

Authoringアウトプットコンフィギュレーション

Wwise Authoringが使うMain Mix Channel Configuration設定の指定機能が、明確化されました。

Authoring Audio Preferences

Wwiseオーサリングアプリケーションを通して試聴するときに使われる初期化設定が更新され、System Audio Objectsを有効（enable）または無効にできるようになりました。オーサリングでSystem Audio Objectsを使えるようにすると、Wwiseの横で実行中のアプリケーションやゲームは、それらを利用できなくなります。

Height Spreadの有効化

Attenuation Editorで、Height Spreadを有効にできるようになりました。Height Spreadを3Dコンフィギュレーション以外（2.0～7.1）で使うと、高さを表現するスピーカーの不足を補うために、スプレッドが加えられます。7.1.4コンフィギュレーションでは高さを表現するスピーカーが存在するので、リスナーの下の、深さ（つまり負の高さ）を表現するスピーカーがないところに、Height Spreadを適用します。Ambisonicコンフィギュレーションでは、この値は使いません。

Spatial Audio

Spatial Audio - ドキュメンテーション

Spatial Audio機能のドキュメンテーションを、全面的に更新しました。

Spatial Audio - CPU Limitと、Performance Monitoring

Spatial Audio CPUリミットの初期化設定（ AkSpatialAudioInitSettings::fCPULimitPercentage ）は反応型のコントロールシステムで、SDK経由でCPU仕様をダイナミックに制限するために使います。CPUリソースがあるときは、レイの数を増やしたり（リスナー中心）、パスを増やしたりしてSpatial Audioの精度を上げ、CPU消費がピークのときはSpatial Audio処理を制御できます。詳細は CPU Limit Mode を参照してください。

Performance Monitorビューが更新され、Raytracing CPUや、Raytracing Emitterの値を、プロファイリングできるようになりました。

Spatial Audio - Game Object 3D Viewer

Displayの設定

表示設定の更新と整理を行い、Game Object 3D Viewerを設定するときのアクセス範囲と柔軟性を改善しました。

Room Extentの可視化

ルームの範囲を、Game Object 3D Viewerで可視化できるようになりました。

エミッタスプレッドの可視化

エミッタのスプレッドの回折と透過を、Game Object 3D Viewerで可視化できるようになりました。

Spatial Audio - Advanced Profilerビュー

Advanced ProfilerビューのObs/Occ（オブストラクション、オクルージョン）タブに、Diffraction（回折）、Transmission Loss（透過損失）、Spread（スプレッド）、Aperture（開口）の各列が追加されました。

Spatial Audio - Voice Inspectorビュー

Voice Inspectorビューに、Diffractionや、ジオメトリを通るサウンドの場合のTransmission Lossを左右する、Spatial AudioのDriver（ドライバー）とDriver Value（ドライバー値）が、表示されるようになりました。

Spatial Audio - Custom Portal Obstruction

SDK: カスタマイズされたワークフローを可能にするために、Wwise Direct-path Obstruction値を、Spatial Audioパイプラインのどこからでも調整できます。

Spatial Audio - Unreal

ルームやポータルをジオメトリに合わせる

AkAcousticPortalや、AkSpatialAudioVolumeを、素早く正確に配置できるように、Wwise Unrealインテグレーションは周囲のスタティックメッシュジオメトリをシーンで検知して、そのシーン内のポータルやボリュームの、適切な大きさや場所を判断します。Fit to Geometryは、複数の典型的なルーム、窓、ドア形状に対応しています。この機能の目的は、ルームやポータルのジオメトリを正しく配置するための手作業を減らすことです。この実装の手順を最初から最後まで追うには、 Fit to Geometry を参照してください。

ルームやポータルの可視化

Unrealビューポートにルームとポータルのアウトラインを描いて、相互のコネクションを描写する新オプションが、インテグレーション設定にあります。レベルでルームやポータルを配置したりそろえたりしたいときに便利です。

Acoustic Surfaces Editor

Spatial Audio VolumeのAcoustic surfaceプロパティが、Unrealで見やすくなりました。Acoustic texture名や、関連カラーや、Transmission Loss値などがあります。さらに、Unreal EditorのBrush Editingモードを使えば、ボリュームの1面または複数面に関連付けられたSurfaceプロパティを、直接変更できます。

Spatial Audioコンポーネントの更新

AkRoom、AkPortal、AkLateReverb、AkGeometryの各コンポーネントを更新し、アタッチする親としてUPrimitiveComponentが使えるようになりました。 つまり、自分のカスタムBlueprintクラスを、Spatial Audioコンポーネントを使って設計できます。

Automatic Aux Bus Assignment

AkRoomコンポーネントの推定T60ディケイに基づき、Aux Busを自動的にアサインできるようになりました。

AKLateReverbコンポーネントを更新し、Aux Bus Assignment Mapの定義に従い、Aux Busの自動アサインが許容されるようになりました。

Reverb Assignment Mapは、環境ディケイ値と、WwiseプロジェクトのAux Busの相互関係を示します。ボリュームのLate Reverbを自動的に定義できるように、このマップをAKLateReverbコンポーネントのAuto Assignmentプロパティと合わせて使います。

コア

新プラットフォーム

MicrosoftのXbox Series X|Sと、SonyのPlayStation®5への対応が、Wwiseに追加されました。Wwiseがサポートする全プラットフォーム向けの機能以外にも、以下の機能を新プラットフォーム向けに提供します:

Xbox Series X|S向け:

• ハードウェアアクセラレーションによるデコードへの対応と、Opus（WEM）オーディオデータのリサンプリング。 
• SystemアウトプットデバイスにおけるMicrosoft Spatial Audioへの対応が、プラグインなしで可能になりました。

PlayStation®5向け:

• ハードウェアアクセラレーションによるデコードへの対応と、Opus（WEM）とATRAC9のリサンプリング。
• Systemアウトプットデバイスにおける3D Audioへの対応が、プラグインなしで可能になりました。
• Convolutionプラグインの、ハードウェアアクセラレーションによる処理への対応。
• Wwise Motionプラグインで、DualSenseハプティックフィードバックを、ソースとアウトプットデバイスの両方としてサポート。

ほかにも、利用可能な高速メモリを活用するためのI/Oシステムの最適化や、新CPU向けのオーディオレンダリングや処理の最適化など、両プラットフォーム向けに開発された改良点があります。

一般的な改善点

デバグ過程を補助するために、Wwise Memory Managerにランタイムのコンフィギュレーション選択肢を追加しました。stompを検知しやすくするための専用アロケータの起動や、メモリリークのトラッキングと報告などが、新オプションの一例です。

インテグレーション

Unity Addressables（実験的）

Addressablesは、製作期間が長期におよび、リリースも複数あるような大型プロジェクトへの対応を向上させる、UnityのAsset Managementシステムです。 Addressablesシステムでは、Unityのアセット（例えばprefabやオーディオクリップなど）をロードするときに、そのアドレス（住所）でコールします。アドレスは場所（ローカルまたはサーバ）を自由に設定できるので、新しいアセットの入った新DLCをリリースするときに、その具体的なアセットのアドレスを使って位置を特定でき、リリース処理が最適化されます。Unity Assetをアドレスの付いたグループにアサインすれば、これらアドレス付きのアセットを、その場所からランタイムにロードできます。Audiokinetic GitHubから入手できるこの実験的パッケージを使えば、ストリーミングファイルが自動的にUnityのScriptable Objectsとしてシリアル化され、Addressablesシステムで使えるようになります。

UnityのWAAPI

UnityのWAAPIクライアントがネイティブC::クライアントを使って完全に書き換えられ、使いやすくなりました。また、Wwise Pickerウィンドウでも、WAAPIが利用可能であれば、様々なリストをつくるのに使います。さらに、WAAPIが、Wwise Picker Windowにある追加機能を実現させます。

その他

Impacter

Impacterは新しいソースプラグインのプロトタイプで、元祖SoundSeed Impactプラグインの考えから生まれたものです。デザイナーはプラグインにインパクト（衝突）タイプのサウンドファイルをロードし、クロスシンセシス機能や、直観的に使えて物理的情報も取り込めるパラメータによる操作で、サウンドの様々なバージョンを生成できます。あえてImpacterの機能やクロスシンセシス性能の無理な使い方をしたり、正規でないクリエイティブな使い方をしたりして、新たなサウンドデザインの可能性を探れます。

Speaker Panning - Steering

Steering（舵取り）というモードがSpeaker Panningモード一覧に追加され、サウンドのチャンネルを、好きなスピーカーに向かせることができるようになりました。

Meter履歴、常時オンのEffect、そしてSource Plug-inのモニタリング

EffectやSourceプラグインをモニタリングするのに、キャプチャセッションを開始させる必要がなくなりました。例えば、次のプラグインのメーターは自動的に機能します: Peak Limiter、Compressor、Meter、Mastering Suite、SoundSeed Grain。さらに、EffectプラグインやSourceプラグインのモニタリングはキャプチャセッションに記録されるので、Performance Monitorなどのビューでタイムカーソルを動かして確認することができます。

Loudness MeterのUXの見直し

Loudness Meterのユーザーエクスペリエンスを見直して、キャプチャ中のMomentary（瞬時）、そしてShort-term（短期）の値をモニタリングできるように、時間グラフが追加されました。

WAQL

Wwise Authoringに、独自の統合クエリ言語Wwise Authoring Query Language（WAQL）が導入されました。Wwiseプロジェクトや、そのオブジェクトのクエリが可能です。ユーザーはクエリで、Sound、Container、Bus、Event、SoundBankなどのWwiseオブジェクトを列挙できます。また、クエリを使い、name、notes、ID、volume、pitch、output busなどの様々なプロパティに基づいて、オブジェクトにフィルタを適用できます。クエリで、Eventのターゲットや、アウトプットバスなど、特定のオブジェクトのリファレンスを探ることもできます。

WAQLは、以下の場所で使えます:

• WwiseのToolbarのサーチ
• List Viewのサーチ
• Schematic Viewのサーチ
• Query Editor
• WAAPIで、 ak.wwise.core.object.get 関数を使用。

WAQLの例

プロジェクト全体にフィルタを適用します: $ where volume < 0 $ where name="Hello" $ where parent.name:"container"

クエリのソースを指定します: $ from type sound $ from type effect where pluginname:"Roomverb" $ from object "\Actor-Mixer Hierarchy\Default Work Unit\Hello" $ from object "\Actor-Mixer Hierarchy\Default Work Unit\Hello"

プロジェクト内を掘り下げます: $ from type action select target $ from object "\Actor-Mixer Hierarchy\Default Work Unit" select descendants where type = "sound"

WAAPI

以下は、WAAPIの改善点です:

• WAQL対応を追加し、プロジェクトを ak.wwise.core.object.get でクエリできるようになりました。
• コロン記号が含まれるリターンアクセサに、コロン文字なしのエイリアスが付くようになりました。
• リスト作成への対応を、 ak.wwise.core.object.create 内に追加しました（リストオブジェクトの例: Music Cue、Music Clip、Music Stinger、Music Sequenceなど）。
• Projectオブジェクトを、 "\" のあるパスでアクセスできるようになりました。

Authoring Plug-in API 2.0

オーサリングプラグイン用の新しいプラグインAPIが導入されたので、後方互換性や、バックエンドとフロントエンドの明確な分離のための、よりロバストなアーキテクチャをもたらします。新しいプラグインAPIは、プラグインの開発をモジュラー方式でとらえるので、もしあなたが必要なのがSoundBank生成のためのメソッド1つだけであれば、それだけを宣言することができます！APIを再考してC APIとし、VARIANTのようなプラットフォーム専用タイプへの依存を減らしました。より安全で洗練されたC++ APIの改善が、ハイレベル利用のためにCの代わりに提供されます。

macOS 3D View

Wwise AuthoringがmacOSで3Dに対応するようになり、メーター機能を含む3D機能や、Game Object 3D Viewerのスペーシャルオーディオの表示が実現されました。

リモートコネクションの同期オプション

Wwiseをリモートで接続したときに様々な動作を可能にするために、複数の同期オプションが追加されました。

接続するときの選択肢:

• Profile Only
• Profile and Edit (Sync Inspected Objects Only)
• Profile and Edit (Sync All Modified Objects).

Object View Bar

PropertyビューやEffect Editorビューにあるオブジェクトビューバーが、最適化されました。アイコンの位置が変わり、テキストフィールドの表示をカスタマイズできるようにスプリッタが追加されました。

Fontの更新とサイズ変更

アクセシビリティ改善のために、FileメニューからアクセスできるUser Preferencesダイアログボックスに、Segoe UIのフォントタイプやフォントサイズが追加されました。

Workgroup - Prompt for Checkout on Edit

ソースコントロールを使ってチームで作業する場合は、Work Unitのコンフリクトの可能性を最小限にするために使える新オプションが、Project Settingsに追加されました。この新オプションを有効にすると、プロジェクトが変更されたときにすぐ、チェックアウトを促すプロンプトが表示されます。オプションを無効にすると、Wwiseは保存時にチェックアウトを促しません。

Work Unitのロード、アンロード、リロード

External Project Changesで、外部で行われた変更（ファイルの追加、削除、修正）に基づいてWwiseプロジェクトをリロードしたり、リロードを取り消したりすることが可能になりました。

Wwise Project全体をリロードすることなく、Work Unitをプロジェクトからアンロードできるようになりました。

Work Unitをロードしたりアンロードしたりするオプションは、Projectメニューや、Work Unitを右クリックして表示されるショートカットメニューで、選択できます。

Music SegmentのCustom Cueの改善

Music SegmentのCustom Cueの時間やカラーをMusic Segment Editorでアクセスできるようになり、Multi-EditorのCustom Cueのタイミングや、Custom Cueマーカのカラーなどを調整できます。