액션 씬에서는 오디오가 여기 몇몇 스크린샷에서 보여드린 카메라 각도의 변경을 반영해야 했습니다. 또한 저희는 씬에 배치된 수많은 오브젝트에서 나오는 사운드의 양을 제한해야 했죠.

 

측면 뷰

 

탑 뷰

 

슈팅 뷰

 

해킹 게임 뷰

이제 저희 오디오 팀이 Wwise를 게임에 통합한 과정을 단계적으로 설명해드리겠습니다.

 

공간 음향 기술을 사용하여 몰입감 높이기

이 프로젝트에서 공간 음향 기술은 잔향, 차단, 3D 오디오 효과에 사용됩니다. 오디오에서 공간 음향은 그래픽의 명암법에 비유할 수 있습니다. 오디오를 더욱 현실적으로 만들어 몰입감을 높이고 서라운드 효과를 만들어주죠. 또한 주변 환경에 통일된 느낌을 주어 사운드가 서로 조합될 수 있게 도와줍니다.

먼저 저희가 이 프로젝트를 위해 개발한 새로운 방법을 기반으로 하는 3D 음향 효과와 상호작용 잔향 시스템을 소개해드리겠습니다.

【1】 3D 음향 효과

3D 오디오의 경우 재생 환경에 영향을 받지 않는 효과를 제작한다는 생각으로 시작했습니다. 니어 : 오토마타는 VR 게임이 아닐 뿐더러 헤드폰 사용을 권장하지도 않기 때문에 일반 스테레오 스피커 구성에서도 공간의 깊이를 표현할 수 있어야 했어요. 또한 사운드 디자인 작업을 용이하게 하기 위해서 원본 사운드가 손상되지 않도록 주의해야 했습니다.

특히 균형 과정을 위해 앞에서 들리는 사운드를 디자인한 대로 완벽히 재생하는 것이 아주 중요했습니다. 하지만 저희는 대부분의 사운드에 효과를 적용하기를 원했고 처리 비용을 낮추는 것이 중요했습니다. 몇몇 사운드에만 효과를 적용한다면 플레이어가 3D 환경 안에서 사운드에 둘러싸인 듯한 느낌을 얻기가 힘들 것입니다.

저희 사내 사운드 디자이너와 오디오 프로그래머는 공통된 개념을 도출해내기 위해 이러한 생각들을 서로 수없이 의논했습니다.

・Simple3D 플러그인

이 공통된 개념에 따라 저희는 Simple3D 플러그인 음향 효과를 게임에 통합했습니다. 이 효과는 Simple3D의 디지털 신호 처리 (DSP) 다이어그램입니다.

 

Simple3D DSP 다이어그램

이름에서 알 수 있듯이 이 다이어그램은 아주 간단한 처리 구조로 돼있습니다. 리스너에서 음원에 이르는 각도에 따라 볼륨과 대역 통과 필터 매개 변수가 각 경로마다 변경되고, 이에 따라 방향감이 생성됩니다.

위에 표시된 세 경로 중에서 첫 번째 경로는 4kHz와 500Hz LPF를 모두 통과하며, 두 번째 경로는 4kHz LPF만 통과하고, 세 번째 경로는 입력 신호 그대로 통과하게 됩니다. 그리고 볼륨 비율을 변경하면 고/저주파수의 양을 조절할 수 있죠.

가장 아래 있는 경로는 음원이 뒤로 지나가거나 주파수가 변경되는 기타 상황에서 사용됩니다. 이 경우 저희는 고/저주파수의 양을 변경하는 대신 효과적인 구성 요소를 검토한 결과 주파수 변경이 가능한 이 대역 통과 필터를 사용하기로 결정했습니다.

이제 이 DSP의 설계를 통해 저희가 계수를 조정한 방법을 살펴보겠습니다. 이 계수들은 효과의 특성을 아주 잘 표현하죠.

 

주관적 EQ

이 다이어그램에서 볼 수 있듯이 한 스피커는 항상 플레이어 캐릭터 앞에 고정된 반면, 다른 스피커는 여러 방향으로 배치될 수 있습니다. 두 스피커에서 번갈아 가면서 핑크 노이즈가 재생되며 전면 스피커에 EQ가 적용됩니다.

나중에 저희는 두 스피커에서의 핑크 노이즈를 서로 비교해서 들어보고, 두 소리가 주관적으로 같게 들릴 때까지 EQ를 조정했죠. 저희는 모든 방향에서 이 작업을 거쳤습니다. 이 매개 변수에 따라 효과를 설계할 수 있도록 각 방향에서의 EQ 매개 변수를 기록했습니다.

저희만의 음향적인 미적 기준을 토대로 소리를 조정하는 이 방법을 통해 HRTF 비율과 다르면서도 플레이어가 더 즐길 수 있는 소리 변경을 만들어낼 수 있었습니다.

 

【2】 상호작용적 잔향

저희 공간 음향 설계의 두 번째 요소는 상호작용적 잔향입니다.

・레이캐스트 시스템

저희는 처음에 주변 지오메트리를 자동으로 인식하여 알맞은 잔향을 생성하는 시스템을 개발하려고 했지만, 후에 모든 매개 변수가 다른 조건에 따라 지속적으로 변경되었으면 했습니다. 그리고 게임의 특성인 상호작용성을 사용하고자 했으며, 자동화된 시스템을 설계한다면 수동으로 하기에는 너무 복잡했던 기능을 성취해내고 싶었습니다. 저희 목표는 지리적 소재 데이터와 다른 인자를 통합하고 리스너로부터의 방향에 따라 반향 강도, 시간, 음질을 재현하여 풍경의 변화에 따라 실시간으로 조정하는 것이었습니다.

저희는 지오메트리를 결정하는 방법으로 레이캐스트를 선택했습니다. 각 프레임에서 몇 개의 레이가 무작위 방향으로 캐스트되며 충돌 지점을 기록하며 제한된 수명을 부여했습니다. 충돌 지점 클러스터와 플레이어의 위치에 따라 저희는 각 방향의 거리, 반향 강도, 필터 강도를 계산했습니다. 이 게임은 초 당 60 프레임으로 작동되기 때문에 프레임 당 8 개, 초 당 480 개의 레이를 캐스트했습니다.

아래의 두 스크린샷은 레이캐스트 방법을 시각적으로 표현한 것으로, 충돌 지점을 초록색으로 나타내고 있습니다. 첫 번째 스크린샷은 작은 공간이고 두 번째 스크린샷은 큰 공간에서의 모습입니다. 두 공간 사이의 차이점이 보이시나요? 오른쪽 아래에 있는 상자는 공간의 크기를 보여줍니다.

 

 

 

・K-verb 플러그인　

레이캐스트를 통해 얻는 지오메트릭 정보는 매개 변수를 설정하고 잔향을 생성하는 데 사용되었으며, 저희는 이 구조를 지원하기 위한 새로운 잔향 플러그인을 설계하기로 결정했습니다. 여러 번의 시도와 오류를 통해 저희는 존재감이 강하고 공간과 공명하는 반향을 표현하는 것이 리스너의 방향을 완전히 따르는 것보다 더 설득력이 있다는 것을 깨달았습니다. 그리고 사운드 디자인을 통해 이 세부 사항을 반드시 실현해내고자 했죠.

Simple3D 플러그인과 레이캐스트 시스템은 정확한 시뮬레이션을 수행하는 것보다 미적으로 만족스러우며 흥미롭게 전개되는 사운드를 전달하는 데 초점을 두었습니다. 저희는 이펙터 플러그인뿐만 아니라 사운드 디자인 아이디어에 있어서도 이 점을 지키고자 했어요. 또한 이 플러그인을 사용해서 처리 부하량을 작게 유지하는 것이 중요했습니다.

한편, 'K-verb'라는 이름은 이 글의 공동 저자이며 오디오 프로그래머인 슈지 코하타(Shuji Kohata)의 성에서 따온 것이랍니다. 원래 내부적으로 사용되는 닉네임이었지만 기억하기 쉬울 뿐만 아니라 이 이름을 붙여준 공동 저자인 미사키 신도(Misaki Shindo)가 정말 좋아해서 다들 계속해서 이 이름으로 부르고 있죠.

자, 이제 K-verb DSP가 특별한 이유를 살펴볼까요.

 

K-verb DSP 다이어그램

왼쪽에 원본 구성 요소인 입력과 변조 구성 요소가 섞인 AUX가 보입니다. AUX는 리스너의 경우 5 채널이며 리스너 주변의 절대 수평 평면의 각 여덟 각도에 대해 8 채널로 리믹스됩니다.

중간에 있는 반복 구간은 잔향 자체입니다. 지연 지속 시간, 레벨, 필터 강도는 여러 방향에서의 충돌 지점으로부터 계산된 매개 변수에 의해 결정됩니다. 이것 만으로는 지연이 너무 강조되기 때문에 전체 통과 필터와 각 방향에서의 크로스피드를 통과하여 잔향이 생성됩니다. 다음으로 결과적인 잔향음은 리스너의 네 채널로 다시 반환되어 주요 출력으로 조합됩니다.

  

- 블로그 제 2부에 계속됩니다.  -

 

미사키 신도 (Misaki Shindo)
인디 밴드로 활동하며 악기 상가에서 일하던 미사키는 2008년 PlatinumGames에 사운드 디자이너로 입사하게 됩니다. 최근에 작업한 니어 : 오토마타에서 리드 사운드 디자이너였던 미사키는 효과음 제작, Wwise 구현, 사운드 효과 시스템 제작을 담당했습니다.

슈지 코하타 (Shuji Kohata)
슈지는 2013년 PlatinumGames에 입사하기 전에 전자 악기 개발 회사에서 일했습니다. 오디오 프로그래머인 그는 음향 효과의 기술적인 측면을 총괄합니다.  니어 : 오토마타에서는 시스템 유지와 오디오 효과 구현을 담당했습니다. 슈지의 목표는 새로운 소리를 표현하는 방법을 고안하고 이 방법을 미래 게임에 활용하는 것입니다. 그는 게임 음향 기술을 개선하기 위해 끊임없이 노력하고 있습니다.

 

알림: 이 글에서 사용된 모든 ‘니어 : 오토마타’의 스크린샷과 동영상은 SQUARE ENIX Co., Ltd.의 소유물임을 알립니다.

NieR:Automata (니어 : 오토마타)

플랫폼: PS4, Steam, Xbox One (다운로드용)

출판사: SQARE ENIX CO., LTD.

개발사: PlatinumGames Inc.

공식 웹사이트:  https://niergame.com/en-us/ 

© 2017 SQUARE ENIX CO., LTD. All Rights Reserved.