ビデオゲームの音楽は、リニアメディアの音楽と根本的な違いがあります。リニアミュージックとノンリニアミュージックでも、楽曲的な要件がかなり異なります。ハワード・ショアが映画ロード・オブ・ザ・リング シリーズのサントラを作曲したとき、20秒後や20分後の画面にどのキャラクターが表れるのかを知った上で、ライトモチーフを組み合わせ音楽を適切にトリミングし、ヘルム峡谷の戦いの混沌としたシーンや、シャイアでホビットがくつろぎ、楽しそうにパイプをふかす平和的なシーケンスなど、具体的な条件に対応することができました。

ビデオゲームのコンポーザーは、このような余裕がありません。カットシーン以外のプレイヤーの行動やゲーム中のエクスペリエンスをコントロールできません。とはいえビデオゲームにおいても、音楽をストーリーに合わせることが核心にあります。極端な言い方をすれば、ゲームのビジュアルやナレーションに柔軟に対応する音楽的エクスペリエンスを作成する作曲テクニックやオーディオツールの継続的な探求こそがビデオゲーム音楽の歴史自体であり、その効果はある意味、映画の音楽に匹敵します。これを実現させるには、音楽がゲームプレイに合わせてアダプト（順応） する必要があります。アダプティブミュージックのテクニックでは、複雑に変容する作曲やプロダクションのパラメータが徐々に、時間をかけて取り揃えられていて、ピッチ、フォーム、エフェクトなどはその一例です。

コンポーザーは、ずいぶん前から、ビデオゲーム音楽の楽曲に、プレイヤーのエクスペリエンスを強化するための適応力が必要だと気づいていました。この観察は、ビデオゲーム開発の現場から生まれただけでなく、しっかりとした論理的根拠に裏付けられています。ビデオゲームとは、ビジュアル、ナレーション、インタラクション、オーディオの4つの構成要素の、ダイナミックな組み合わせであると考えられます（下図参照）。異なる要素が同じ方向に向かったときに、互いを強化し合い、その結果、ゲームエクスペリエンスが格段と向上します。

ビデオゲームとは、複数の要素が互いに影響し合いながら、ゲームエクスペリエンスを生み出すシステムであると考えられる。

音楽を、ゲームのほかの要素に合わせるには、音楽に何らかのアダプティブ（適応）性が必要です。これは当たり前のことのようでも、実は、裏付けとなる定量調査があまりありません。さらに、音楽とゲームプレイヤーの関係を、もっと一般的な観点で分析したデータに基づく研究は、ごくわずかです。

 

このブログでは、Melodriveの研究で得た定量調査の結果を、いくつかご紹介したいと思います。ゲームプレイヤーやVRユーザーを対象としたアンケート結果や、心理的な実験に関する見解などもあります。ノンリニアコンテンツ用の音楽に対するプレイヤーの期待や理解力が、アンケートから見えてきました。心理実験では、AIで生成されたリアルタイム音楽という形式の「アダプティブミュージック」を用い、プレイヤーの没頭レベルにどう影響するかに、焦点を当てました。

音楽と、プレイヤーの意見

私たちは、ゲームプレイヤーやVRユーザーがノンリニアなメディアに合わせて流れる音楽をどうとらえているのかを知るために、いくつかの調査を実施しました。具体的には、以下のような疑問がありました:

• ゲーマーにとって、音楽はどれくらい大事なのか？

• プレイヤーはアダプティブミュージックを意識しているのか？どれくらい関心を持っているのか？

• 現在の音楽の内容に、プレイヤーは満足しているのか？

• プレイヤーは、音楽とどのような関係を持ちたいのか？

このような疑問に答えるべく、様々なセグメントを対象とし、VR・ARのユーザーや従来型ゲームのプレイヤーのほか、 Roblox ユーザー、 High Fidelity ユーザー、 VRChat ユーザーなどにアンケートをお願いしました。このようなセグメントにつながっているsubredditやFacebookグループで、アンケートを回しました。179人のプレイヤー達が回答してくれました。それをもとに私たちが集計し、まとめました。では、出てきたデータをご覧ください！

音楽について、プレイヤーの感想

プレイヤーは、音楽をゲームプレイの中心的な存在としてとらえています。 私たちが注目したセグメントの80%以上が、音楽がゲームエクスペリエンスに大きく影響する可能性があると考えています。インタラクティブコンテンツに使える音楽テクニックが、複数あることも知っていて、どれが効果的で、どれが効果的でないかなどについて、はっきりとした意見を持っているようでした。回答者の約50%が、ループ音楽はイライラすると答えています。何人かは、あえて自由回答欄でもこれに言及し、変化のない同じ音楽を聴くくらいなら、音楽を消した方がマシだと言っていました。意外だったのは、 ゲーマーやVR・ARユーザーの約75%が、アダプティブミュージックの概念を知っている ということでした。アダプティブミュージックの基本テクニックを識別できるのは、おそらく、ゲームプレイ状況に応じて変容するサウンドトラックを聞きなれているからと考えられます。

アダプティブミュージックについて、プレイヤーの意見

インタラクティブエクスペリエンスにおいて音楽が担う役割と音楽の種類についても、プレイヤーの好みは、はっきりしていました。 回答者の60%以上が、インタラクティブコンテンツの体験を強化する上で、アダプティブミュージックが重要だと考えていました。 ゲーマーやAR・VRユーザーに限ると、この値が約80%にも上ります。大部分の人（80%以上）が、ゲームのほかの要素であるビジュアルやナレーションと、音楽が、そろうことが重要だと感じています。このデータからも、プレイヤー達はアダプティブミュージックを認識しているだけでなく、ノンリニアな状況に求められるダイナミック音楽の要件を、（もしかしたら）直感的に理解していると、考えられます。ゲームプレイヤーの意見が、ゲームミュージックのプロ達と共通するのは、ある意味当然で、ビデオゲームの音楽は、ほかのゲーム要素とそろえるべきだ、つまりアダプティブとするべきだ、と専門家も感じています。知識が豊富だということ以外に、何か理由があるのでは？その答えは、私たちが実行した心理的実験のデータ結果と合わせて、後述します。

現在のミュージックソリューションについて、プレイヤーの感想

調査から分かったのが、 プレイヤーは、ゲームの音楽が、自分の期待を満たしてくれるとは、めったに感じないということです。 この反応が特に強かったのがRoblox、High Fidelity、 VRChat などの新しいゲームプラットフォームやソーシャルエクスペリエンスのユーザーで、今のミュージックソリューションに満足しているユーザーは25%未満でした。一方、従来型のゲームやVR・ARのユーザーでは少し結果が良くなり、回答者の約45%が、体験する音楽が普通は良いと感じています。新しいプラットフォームと、すでに確立されたゲームの間で、差があるのは、後者には音楽制作の長い歴史があり、全体的により良いエクスペリエンスを届けているからだと考えられます。それでも驚くべき数値であることは確かで、ビデオゲームやVRエクスペリエンスのユーザーは、音楽を改善する余地が大いにあると感じていることを、基本的に示しています。この分析を、アンケートのほかのデータ結果と比較すると、プレイヤーは、音楽とほかのゲーム要素の協力関係をもっと強くして欲しいと感じていることが、想像できます。

 

音楽のカスタマイゼーションや制作に、プレイヤーが関与

アンケート回答者は、音楽のカスタマイゼーションや音楽作成に積極的に関わることを強く希望していました。具体的には、 60%以上の人が、自分のアバター用や、自分がサンドボックス環境で構築したコンテンツ用に、自分だけの音楽が欲しいことを示唆しています。 Valve  社は早いうちから この傾向を意識 した会社の1つで、自 Counter-Strike 用のミュージックキットを提供しています。ゲームプレイヤーはゲームのマーケットプレイスに行き、様々なスタイルのキューから選び購入し、そのコンテンツをダウンロードできるのです。これらのトラックがあると、プレイヤーのゲーム中の音楽的エクスペリエンスがカスタマイズされ始めます。ミュージックキットで自分だけの音楽を入手できるわけではありませんが、かなり高度なカスタマイゼーションが可能です。

音楽のカスタマイゼーションの重要性は、この調査の別の数値結果を見るとさらに解明されます。回答者の 75%近くが、ゲームで体験するインタラクティブコンテンツ用に簡単に音楽を作成できるのであれば、是非とも試してみたいと言っています。 ビデオゲームで自分を表現する手段として、音楽を使ってみたい、という強いニーズがあります。残念ながら、音楽経験がゼロまたはゼロに近い人が、ゲーム中に複雑な音楽をつくることができるようになる安定した技術は、今のところ存在しているとは言えません。最先端のAI音楽生成システムをビデオゲームに直接搭載しなければ、実現できないのです。ところで、アンケート回答者の中に、そのような技術に触れた人はいなかったのに、それでもゲームにとって音楽生成は潜在的に重要な側面だとみているのは、実に興味深いことです。

 

調査結果より、音楽に関するゲームプレイヤーの多彩な意見の情報収集ができました。一般的に、ゲームミュージックの役割について、みんな知識が豊富でした。インタラクティブコンテンツの音楽は、ビジュアルやナレーションにその場で反応するダイナミックでアダプティブな性質が期待されています。ところが、今日のノンリニアコンテンツに伴う音楽は、特に高く評価されているわけではありませんでした。最後に、プレイヤーは自分達が没頭するコンテンツの世界で、音楽をつくり上げる過程に参加してみたいと思っています。

それでは、プレイヤーの音楽に対する意見が分かったところで、論理的に考えると、次は当然、ビデオゲームミュージックでプレイヤーが受ける精神的な影響を分析するべきです。そこで、心理実験を実施しました。

ビデオゲームの音楽と、プレイヤーの気持ち

Melodriveでは、音楽をリアルタイムで一から生成するAIミュージックエンジンを構築中です。AIで作成した音楽は、ゲーム中の現在のシーンの雰囲気に合わせて、オンザフライで音楽の感情表現を変化させます。私たちがこの技術を開発するにあたって根拠としたのは、このブログ記事の冒頭で出てきましたが、ゲームの音楽がほかのゲーム要素とそろっているほど、プレイヤーがゲームに没頭できるという説です。この方針に従えばビデオゲームの場において、人間が作曲したアダプティブミュージックの方が、リニアミュージックよりもプレイヤーを虜にするはずです。さらに突き進めると、ゲームコンポーザーのオリビエ・ドリヴィエール（Olivier Deriviere）が説明する Hybrid Interactive Music  (HIM) は、事前に録音したステムと、リアルタイムシンセシスを共存させ、非常に適応力の優れた音楽的ランドスケープを提供し、従来のアダプティブミュージックよりも惹きつける力が強いといえるかもしれません。また、適応した方が惹きつけるという法則に基づくと、ゲームパラメータにリアルタイムに反応して感情表現できるAIの音楽は（ Melodrive ではこれを Deep Adaptive Music - DAMと呼んでいます）、プレイヤーを魅惑する潜在能力が、HIMより高いと主張できます。

理論的には納得できても、両者は条件が等しくないため検証することは難しいので、もっと簡単な捉え方として、音楽がプレイヤーの集中レベルに与える影響力を実証しようと試みました。そこで、アダプティブ性の高低を極限で表現する2種類の前述の音楽の影響力を調べました。簡単なVRエクスペリエンスを使い、リニアミュージックでプレイヤーの集中レベルをトラッキングし、DAMで集中レベルをトラッキングする、心理的実験を考案しました。比較用に音楽なしのVRシーンも用意しました。

仮説

プレイヤーの集中レベルを測定するためにトラッキングしたのは、エクスペリエンスを続ける時間（タイムセッション）と、主観的な没入感の2つの測定値です。私たちの法則から、以下のような仮説を抽出しました:

• 音楽の存在は、VRエクスペリエンスの主観的な没入感を増加させる。

• DAMは、リニアミュージックよりも没入感のレベルを増加させる。

• 音楽の存在は、VRエクスペリエンスを続ける時間を、引き延ばす。

• DAMは、リニアミュージックよりも、VRのタイムセッションを引き延ばす。

• DAMは、リニアミュージックよりもVRシーンに適している。

実験の設定

私たちは、仮設を試すために簡単なVRシーンをつくりました。2つの部屋と、それをつなぐ廊下からなる、宇宙ステーションのシーンです。最初の部屋（ブルールーム）は静かで落ち着いていて、もう1つ（レッドルーム）は、もっとアグレッシブな部屋です。部屋の雰囲気（優しいのか、怒っているのか）の調整に、ライティングの種類や、2つの部屋にあるオブジェクトの活動レベルを変えました。

3つの実験条件を設定しました。 参加者は、VRシーンの探検を、音楽なし、リニア音楽付き、またはDAM付きで、行います。 DAMの音楽は、Melodriveのエンジンを使ってリアルタイムで生成しました。リニアミュージックは、Melodriveが生成した、1つの感情ステートの、約3分間の音楽を録音して使いました。リニアミュージックは実験のVRシーンでループ再生しました。電子楽器の、アンビエント風スタイルの音楽を使いました。3つの条件を比較できるように、下表にまとめました。

 

No Music	Linear Music	Deep Adaptive Music (DAM)
シンプルな宇宙ステーションのVRシーン	同じVRシーン	同じVRシーン
2つの部屋と、それをつなぐ廊下	変化しないループするサウンドドラック	同じサウンドデザイン
シーンにインタラクティブオブジェクトはなし		リアルタイム に Melodrive で作曲
		部屋によって雰囲気が変わる
		音楽は、部屋の雰囲気に合わせてアダプトする

 

実験の参加者は46人でした。実験の目的は伝えていなかったので、事前準備はありませんでした。参加者が体験するのは3つの条件のうち1つだけで、好きなだけシーンを探検するようにお願いしました。タイムセッションの長さを測り、全体的な没頭レベルの測定値としました。参加者がVRエクスペリエンスの探検を終えると、自分の感じた没入感のレベルについて、アンケートに答える形で教えてもらいました。アンケートは、主観的な没入感を測定するために一般的に使われる心理学的な調査の、いくつかの標準的な質問で構成されています。

結果

私たちの当初の仮説は証明され、 実験結果で裏付けられました。ちなみに、これから記載する結果は全て、統計学的に意義あるものです (p<0.05) 。DAMによる没入感への影響は、非常に強いことが分かりました。 DAMは、音楽なしと比べ、没入感が実に30%も高く、リニアミュージックと比べても25%高いことが分かりました 。

3つの実験条件で参加者が感じる没入感レベル

タイムセッションの長さに対する DAM の影響は、さらに大きかったです。 DAMでは、VRシーンにかける時間が、ミュージックなしと比べ42%も長くなり、リニアミュージックと比べ27%も増えました。

3つの実験条件で参加者がVRシーンで過ごす時間（秒数）

90%の人が、没入感を感じるのに音楽が非常に大事な要素だったと答えています。データも、DAMがリニアミュージックよりも没入感に大きく貢献することを示しています。また、リニアミュージックと比較して DAMで「音楽」と「VRシーン」が合う確率が49%も高まる ことが分かりました。

私自身、コンポーザーでありゲーマーであるので、音楽が些細な感情キューを伝えるための効果的な媒体であるという考えから、没頭レベルに大きく影響するだろうと予想していました。ただ、この実験で一番驚くべきポイントは、音楽全体の大きなインパクトではないと思います。それよりも、リニアミュージックとDAMのインパクトの違いだと、感じました。私たちはもちろん、DAMの方が、没入感や持続時間に大きな影響があるだろうと予測していました。ただ、その差がここまで大きいとは想像していませんでした。深いアダプティブ性能こそ、没頭レベルを高める要だと実験結果が示しているように思います。つまり、 プレイヤーの集中力が、音楽で（どんなタイプの音楽でも）自動的に大幅に増加するわけではなく、適切な音楽タイプを提供することが肝心であり、適切な音楽とは、ほかのゲーム要素と効果的に同期している音楽を指します。 前述の、適切であるからこそ没頭レベルが高まるという法則を裏付ける、強力な実験データです。

この調査の初期結果はすでに、デジタルミュージックに関する国際ワークショップで発表しています。この実験の詳細は、 コンファレンス資料 に掲載されています（私たちの報告書は8ページ目です）

まとめ

ビデオゲームの音楽について研究所や現場で幅広い検証が行われてきたにも関わらず、プレイヤーと音楽の関係について、まだ分かっていることは限られています。 人々が何をゲームミュージックに求めているのかが分かれば、音楽エクスペリエンスのデザインに役立ち、私たちはプレイヤーの没頭レベルを高めることができるのです。

ここで紹介した調査結果の中で、プレイヤーと音楽の関係について理解を深めることができる観察点が3つあります。第1に、プレイヤーはビデオゲームミュージックに関する知識が豊富で、今の状況にさほど満足していないこと。第2に、適応性に優れたアダプティブミュージックで、プレイヤーの没頭レベルをかなり改善できること。そして最後に、プレイヤは音楽をつくったりカスタマイズしたりする機会を求めていること。このようなニーズに応えることはコンポーザーにもオーディオディレクターにも素晴らしいチャンスにつながる可能性があり、音楽用のDLCなど、新たな課金形態につながるかもしれません。

私たちの調査結果に共通する大きなテーマは、 音楽が占めるビデオゲームにおける中心的な役割 です。私たちの小さなコミュニティの外に出ると、この点はそれほど知れ渡っていないのです。今まで、インディーズであれトリプルA級であれ、大小のスタジオのゲームデベロッパーとの会話で、音楽はゲームの「あるといいな」程度の機能の1つに過ぎず、ポストプロダクションの時点で初めて目が行く分野だと、何度言われたことか。リニアミュージックにクロスフェードを所々に追加しただけで、満足してもらえる人もいるのだと思います。プレイヤー自身の没入感という観点で、どれだけ損をしているのか、彼らに分からないのです。それが間違いだと納得してもらうのは私たちの責任で、プレイヤーの没頭レベルを上げるためにアダプティブミュージックが要だと、見方が変わるような説得力のあるストーリーを提供する必要があります。

もしそんな論争に巻き込まれたら、この新しい定量調査結果で勝利を獲得できるかもしれず、この勝利は、結局のところ、プレイヤーのゲームエクスペリエンスを大幅に拡張してくれるはずです。