저는 게임 음악을 작곡할 때 어떻게 하면 플레이어에게 의미있게 다가갈 수 있을까 항상 고민합니다. 작곡가는 보통 크리에이티브 디렉터, 오디오 디렉터와 함께 이야기, 감정, 주제, 색감 등, 작업할 프로젝트에 관한 창의적 요소들을 함께 의논합니다. 저는 보통 음악이 플레이어와 어떻게 상호작용할 지를 질문하죠.

저는 클래식 음악을 공부했지만 전자 음악을 정말 좋아하는 작곡가입니다. 저는 독특한 방식으로 디지털 프로세싱을 사용하여 라이브 뮤지션들을 서로 조합하는 것을 좋아합니다. 제 사운드트랙 중 하나인 리멤버 미(Remember Me)는 '획기적인 음악적 접근 방식'을 인정받아 저에게 많은 상을 안겨주었죠. 하지만 저에게 곡 자체만큼 중요한 한 가지가 있는데, 바로 상호작용적 접근 방식입니다.

간단하게 설명하자면, 리멤버 미의 경우 런던에서 70인조 오케스트라를 녹음했고 뮤지션이 다음 박자에서 플레이어의 동작을 140bpm으로 따라하도록 했어요. 작곡가나 오디오 디렉터이거나 게임 음악에 경험이 좀 있는 사람이라면 이게 말만큼 쉬운 일이 아니라는 걸 잘 아실 거예요. 결과는 굉장했지만 저는 다시는 이렇게 복잡한 것을 하지 않겠다고 다짐했습니다. 적어도 겟 이븐(Get Even)을 작업하기 전까지는 그랬죠.

 

게임 음악 콘서트(런던)에서 '리멤버 미'의 상호작용 음악 연결고리를 설명하고 있는 Audiokinetic의 제품 VP, 시몽 아슈비

겟 이븐 

겟 이븐은 폴란드 개발사인 The Farm 51(더 팜 51)이 개발했으며  반다이 남코가 출판한 게임입니다. 처음에 개발사가 게임 콘셉트를 저에게 설명해주었을 때 저는 굉장히 놀랐어요. VR이 아닌 VR 게임을 만들고자 하더군요. 또한 슈팅 게임 / 걷기 시뮬레이터 / 탐정 / 이야기 중심의 게임까지 목표로 하고 있었구요. 게임 끝에서는 플레이어의 눈물샘을 터드릴 계획도 있었습니다. 이 콘셉트가 굉장히 멋지게 들려서 저는 온 마음과 열정을 다해 작업했습니다.

 

 

 겟 이븐 : 실시간 생성 상호작용 음악 소개  

 

상호작용 음악이란?

상호작용 음악의 열렬한 지지자이기도 한 저는 전 세계를 여행하며 작곡자, 개발자, 출판사에게 저의 비전을 공유하고, 또 업계 전문가들을 만날 때마다 그 경험을 토대로 제 나름의 비전을 향상시켜왔죠. 다양한 사람들과 의견을 나누며 플레이어의 동작에 따라 음악이 변하기만 한다면 '상호작용적'이라고 여겨진다는 것을 알게 되었어요. (멋진) 음악 몇 곡을 작곡/제작하고 레이어링할 부분들을 전달하는 것도 꽤 괜찮고 효율적이기는 합니다. 그렇다면 영원히 여기서 멈춰있어야 할까요? 저는 그렇게 생각하지 않습니다. 매체는 지속적으로 발전하니까요. AI, 라이팅, 물리, 셰이더, 등 정말 많은 부분이 향상되었습니다. 하지만 음악은 그만큼 향상되지 않은 것 같아요. 상호작용 음악은 이제 시작 단계에 있으며 앞으로 10년 동안 더욱 다양한 범위로 음악을 사용하게 되기를 바래봅니다.

게임이 실시간으로 진행된다면 음악도 그래야 하지 않을까요?

저에게는 게임을 보고 있는 동안에 스크린에서 픽셀이 렌더링된다는 점이 항상 놀라웠습니다. 제 동작들로 인해 픽셀이 지금 여기에서 살아 움직이게 되죠. 이것을 음악적으로 가장 잘 비유한 것은 바로 전자 음악입니다. 신시사이저(아날로그)나 컴퓨터(디지털)를 이용해 작곡하면 전기, CPU, DSP를 사용하여 소리가 실시간으로 생성됩니다. 이 사실은 살아 움직이는 픽셀만큼 저에게 놀라웠습니다. 우리는 게임이 처음 등장했을 때부터 실시간으로 생성된 음악에 이미 익숙해져 있습니다. 콘솔 시스템에 들어 있는 칩 세트를 사용하면 필요에 따라 동작을 조금씩 따라갈 수 있어요. 그러나 PlayStation이 CD 드라이브를 고안했을 때 저희는 이 기능을 잃게 되었습니다. 음악은 배경으로 재생되는 수동적인 트랙이 되어버렸죠. 하지만 이제 라이브 뮤지션들이 음악을 연주해 정말 멋지게 들립니다. 수년 후 우리는 일반적으로 볼륨을 사용하여 플레이어의 동작에 따라 실시간으로 변경할 수 있는 음악 레이어를 만들기 시작했습니다. 오늘 저는 우리가 상호작용 라이브 녹음과 실시간 생성 음악을 모두 사용한다고 말할 수 있어서 기쁩니다. 저는 이 음악을 하이브리드 상호작용 음악(Hybrid Interactive Music, HIM)이라고 부를게요.

 

 

제로빔 펜더슨(Jerobeam Fenderson) - Reconstruct - 시청각 앨범 Oscilloscope Music(오실로스코프 음악)

하이브리드 상호작용 음악(HIM)이란?

현재 우리는 음악을 디지털화합니다. 라이브 연주, 신시사이저, 샘플 라이브러리는 파일 안에 있는 파형이 됩니다 (예: MP3나 WAV). 수년 간 우리는 점점 더 많은 것들을 제어할 수 있게 되면서이 파일을 편집하기 시작해, '도입부', '반복 재생 구간', '반복 재생 종결 구간'과 같이 여러 섹션을 만들고 (수평적) 이를 레이어링하여 (수직적) 게임의 유연성과 음악성을 높여왔습니다. 이 수평적/수직적 접근 방식은 여전히 상호작용 음악의 일반적인 접근 방식입니다. 저는 여러분이 Wwise를 사용해 리멤버 미, 겟 이븐, 등과 같이 요즘 나오는 수많은 게임처럼 멋진 결과를 쉽게 만들 수 있을 거라 자신합니다.

Wwise는 몇 년 전에 MIDI를 엔진에 도입했습니다. 다재다능한 이 MIDI를 두 가지 방식으로 사용할 수 있죠. 첫 번째 방법은 Wwise가 생성하는 사운드를 재생하는 것입니다. Audiokinetic은 실시간으로 음악을 제작할 수 있는 몇 가지 기본적인 신시사이저를 제공합니다 (아무 것도 녹음하지 않고 프로세서가 생성). 두 번째 방법도 아주 흥미롭습니다. MIDI의 다양한 컨트롤(ADSR, 벨로시티, 키 매핑)을 사용해 Wwise를 트리거하여 샘플러로 사용하는 것이죠. 이 방법은 정말 놀랍습니다!

자, 여기서 Wwise의 정말 획기적인 점은 바로 미리 녹음된 파일과 MIDI 간의 관계입니다. Music Editor를 사용하면 이 두 개를 자유롭게 조합할 수 있어요. 다시 말해 오케스트라를 녹음하여 신시사이저 기반 악기를 만든 후 MIDI에서 베이스 라인을 재생하도록 하고, 샘플러로 제작된 드럼 키트를 만들어 MIDI를 통해 트리거하여 오케스트라와 함께 재생할 수 있는 것이죠.  바로 이게 제가 말하는 하이브리드 상호작용 음악입니다. 실시간으로 생성된 음악이 미리 녹음된 음악 세그먼트와 함께 재생되는거죠.

 

 

겟 이븐 - 하이브리드 상호작용 음악 예시

HIM이 정말 흥미로운 이유는 무엇일까요?

템포를 살펴봅시다. 디지털화된 트랙은 음높이의 변화 없이 템포를 변경할 수 없다는 것은 모두가 잘 알고 있는 사실이죠 (실시간으로 음높이를 수정할 만큼 엔터테인먼트 시스템이 발달하지 않았습니다). 그렇기 때문에 템포에 변화를 줄 수 없어요. 하지만 게임에서 플레이어에게 피드백을 주려고 할 때 창의적으로 가장 좋은 방법이 템포를 변경하는 것이라면 어떻게 할까요? 예를 들어 목표물과의 거리나 생명력의 상태에 따라 음악의 템포를 한 단계씩 높인다면요? 이 방법은 MIDI + 샘플러, RTPC를 사용하면 아주 쉽게 구현할 수 있습니다.

두 번째 예시로 음악의 다이내믹을 들어봅시다. 예를 들어 '피아노'라는 악기를 만들고 한 음이 연주될 때마다 약하거나 강하게 재생되도록 할 수 있습니다. 그렇게 하면 게임의 매개 변수에 따라 아주 잘 통제되고 매끄러운 방법으로 실시간 다이내믹을 만들어낼 수 있어요.

이 두 예시는 Wwise가 하이브리드 상호작용 음악 제작을 위해 제공하는 수많은 가능성 중 아주 작은 부분에 불과합니다. 창의성을 얼마든지 더 발휘할 수 있기 때문에 가끔은 가능성이 무한하다고 느껴질 정도죠.

 

겟 이븐 - MIDI 킥 드럼. RTPC에 따라 템포가 바뀌고 패턴과 벨로시티가 변경된다.

 

하지만 겟 이븐은 HIM만으로는 부족했으니...

이제 Wwise가 제공하는 기술적인 가능성을 알아봤으니 겟 이븐으로 다시 돌아가봅시다. 앞서 말씀드렸듯이 겟 이븐은 VR 아닌 VR 게임입니다. 캐릭터가 전체 게임 동안 VR 장치를 착용하고 있어요. 그렇기 때문에 제가 가진 가장 첫 번째 질문은 'VR에서는 음악을 어떻게 해야 할까?' 였습니다. 이 새로운 경험에 음악이 적합하지 않을 것 같아 걱정이 많았죠. 겟 이븐은 실제 세계 안에서 일어나는 아주 현실적인 느낌을 줍니다. 그리고 음악은 어디서 들려오는지 알 수 없는 아주 추상적인 느낌을 주어야 해요.

어느 정도 생각을 해본 후에 저는 '모든 음악이 다이어제틱(diegetic) 요소를 가지고 시작한 후 추상적으로 변화되어야 한다'라는 규칙을 정했습니다. 이렇게 하면 음악이 단지 배경 삽화가 아니라 세계 안에 연결되어 있다는 느낌을 줄 수 있어요.

작곡가로서 저는 항상 예상을 뛰어넘으면서도 의미 있는 느낌을 제작하고 싶었습니다. 저의 사운드트랙은 각각 '반전'이 있는 독특한 소리를 가지고 있어요. 저는 게임의 요구를 뒷받침해주도록 '예상치 못한 것'을 만드는 걸 참 좋아합니다. Wwise 사용도 마찬가지예요. 저는 Wwise를 뜻밖의 방법으로 이용해 게임만의 고유하고 의미 있는 것을 제작하는 것을 정말 좋아합니다. 여기서 잠깐 Audiokinetic이 얼마나 대단한지를 말해드리고 싶어요. Audiokinetic은 소프트웨어에 기능을 추가할 때 기능 고유의 목적만을 달성할 뿐만 아니라 Wwise가 제공하는 모든 것과 연관될 수 있게 해줍니다. 예를 들어 상호작용 음악에 대한 모든 기능은 게임의 사운드 방사체에 연결할 수 있어요. 정말 대단하지 않나요! HIM을 사용하면 음악 시퀀스를 게임의 3D 세계 안에서 미리 녹음된 2D 트랙과 함께 재생할 수 있어요. 이 기능은 겟 이븐에서 정말 많은 가능성과 의미 있는 접근 방식을 열어주었습니다.

최종 결과

저는 게임의 모든 상황에서 고유한 음악이 사용되어야 한다고 결정했습니다. 그래서 저는 미리 녹음된 음악에 동기화된 다이어제틱 사운드, 콘솔에 의해 실시간으로 처리되는 드론, MIDI로 시퀀스된 드럼, 3D에서 3D 레이어로의 변경, 음악과 연결된 더 나은 시각적 요소, 등을 사용해 게임에서 총 17가지의 다양한 방법으로 상호작용 음악을 사용했어요. 다음은 Sixth Axis(식스드 액시스)의 이 게임에 대한 리뷰에서 옮겨온 글입니다. "두려움, 경이로움, 거친 감정 사이로 드나드는 올리비에 더리비에(Olivier Deriviere)의 사운드트랙은 올 해 저희가 들어본 최고 중 하나라고 장담합니다. 자세히 들어보면 Cole의 호흡 소리, 바닥이 삐걱대는 소리, 가스관과 같은 환경적인 소음이 음악과 뒤얽혀있는 것이 들릴 거예요. 대부분의 사운드트랙처럼 위에 레이어링하는 대신 게임 자체에 통합되도록 아주 현명하게 작곡되었습니다.” - Sixth Axis

 

하이브리드 상호작용 음악의 시대가 올 것인가?  제 2부 - 기술적 설명