최근에 작업한 프로젝트에서 저희 회사는 어느 고객의 미래 사무실 공간 음향 시뮬레이션을 Wwise를 사용해 포로토타입할 기회가 있었습니다. 새로운 건물에서 음향이 어떻게 들릴 것인지를 고객이 이해하는 데 도움을 드리는 것이 이 프로젝트에서 저희가 맡은 역할이었어요. 더 자세히 말씀드리자면, 열린 구조의 사무실 환경이나 닫힌 구조의 회의 공간 같이 서로 다른 공간에서 하루 중 시간에 따라 다양한 강도의 소리들이 어떻게 들리는지를 이해할 수 있게 하는 것이었죠. 저희 작업은 음향적으로 건물을 측정하거나 건물이 어떻게 공명하는지를 정확히 데이터로 분석해야 하는 것이 아니라, 건물의 여러 다른 공간이 어떻게 느껴지고 들리는지를 시뮬레이션하는 것이었어요. Wwise로 음향을 시뮬레이션하는 방법을 물색하는 일은 정말 재밌었습니다.

구성

고객이 소리풍경에 공감할 수 있도록 하는 것은 정말 중요했습니다. 그래서 저희는 수많은 이미터를 사용하여 소리를 하나씩 재구성해 믿을만한 사무실 환경을 만들어냈어요. 단일 사운드(예: 컵이 달그락거리는 소리, 의자가 끌리는 소리, 환기구 소리)를 가상 사무실의 현실적인 위치에 골고루 배치하여 동적 음향 시뮬레이션의 기반을 만들 수 있었습니다.

 

Unity에서 사무실에 이미터를 골고루 분포한 모습 색깔은 각 사운드 유형을 표시합니다.

 

또한 이 단일 이미터를 사용해서 개발 단계를 유연하게 유지할 수 있었습니다. 주어진 기간이 짧았고 고객에게 무엇을 어디에서 보여드려야 하는지에 대해 여러 의견이 있었기 때문에 수많은 이미터 사이로 이리 저리 쉽게 옮겨다니면서 시각과 적절한 청각적 위치에서 고객에게 건물을 보여드릴 수 있었어요. 하지만 이렇게 유연한 경로를 선택할 경우 오픈월드 게임과 같이 사운드 믹스를 제어하기 위해 더 많은 작업이 필요합니다.

Wwise Reflect

 .

한 이미터로부터 리스너를 향해 이동하는 2차 반사음. 각 반사음이 표면에서 반사되면 표면에 정의된 음향 재료에 따라 소리의 일부분이 흡수됩니다.

고객에게 시뮬레이션을 발표할 때, 저희는 여러 가지 청각적 도전 과제를 보여드릴 수 있는 여섯 개의 서로 다른 위치에서 사무실 음향을 들려드리기로 했습니다. 이 위치는 고정되지 않았으며 사용자가 옮길 수 있었습니다. 하지만 현실적으로 이러한 유동성은 대부분 소리의 삼각 측량에 사용되었습니다. 머리를 돌리면서 앞으로 숙일 수 있는 기능은 환경을 이해하고 방향감을 얻는 데 큰 도움이 될 수 있습니다. Wwise Reflect는 공간 인지력을 생성하는 데 큰 도움이 되었어요.

 

 

Wwise Reflect는 사용자가 공간의 크기와 모양을 이해하는 데 큰 도움이 되는 초기 반사를 집중적으로 다룹니다. 실용적이며 작은 변환 스프레드시트를 사용하여 실제 음향 표면 계수를 Wwise로 변환함으로써 완전히 동일한 재료을 사용하며 Wwise가 이 재료로부터 초기 반사를 실행하도록 할 수 있었어요.

Wwise Convolution

저희가 경험한 바로 공간의 특성은 후기 반사인 잔향으로부터 제공됩니다. 이 잔향을 Wwise에서 시뮬레이션하기 위해 저희는 (실제) 잔향을 사용하여 원본 사운드에 적용시켜주는 Wwise Convolution Reverb를 사용했어요. 저희 상황의 경우 아직 건물이 완성되지 않았기 때문에 실제 공간의 잔향을 직접 녹음할 수가 없었습니다. 대신 여섯 개의 위치 주변의 3D 모델을 모델링하며 서드 파티 도구를 사용하여 각 위치의 임펄스 반응을 1차 앰비소닉으로 생성했어요. 임펄스 반응을 Wwise Convolution으로 가져오면 해당 구역에 있는 소리의 후기 반사를 생성할 수 있습니다. 그렇기 때문에 디지털 모델을 사용해서 음향적 특성을 잘 이해할 수 있었어요. IR(impulse responses, 임펄스 반응)을 생성하는 데 사용된 3D 모델은 서드 파티 소프트웨어의 제약으로 인해 아주 간단하며 세부적이지 않은 모델이었습니다.

 

시뮬레이션한 임펄스 반응을 생성하는 한 위치의 모델. 주황색 원뿔은 임펄스 반응의 리스너 위치입니다.

물론 단순한 모델을 통해 생성된 IR은 어느 정도 한계가 있기 때문에 이런 타입의 반사의 경우 실제 환경에서 들을 수 있는 세세함이 없을 수 있다는 것을 고객에게 당부 드려야 했습니다. 예를 들어 모니터, 마우스 패드, 조명 등의 작은 물체는 소리의 이동을 흡수하거나 중단하기 때문에 잔향을 짧게 만들 수 있어요. 하지만 간단한 모델을 사용한 컨볼루션 잔향도 꽤 현실적이게 들렸습니다. 계산된 잔향 시간은 저희가 예상한 시간과 비슷했어요. 비슷한 모양의 실제 공간을 저희가 계산한 것과 시각적으로 비교한 결과 약간의 당부 말씀만 드리면 고객에게 후기 반사를 발표하는 데 문제가 없다고 생각했습니다.

Room과 Portal에서의 이미터 제어하기

130 개의 음향 반사적 표면이 있는 가상 사무실 공간에 170 개의 이미터가 분포되어 있었기 때문에 저희는 리스너에서 멀리 떨어진 방사체를 추려냈습니다. Wwise에 내장된 가상화를 사용할 수 있었지만 전체적인 시각적 목표를 위해 저희는 Unity 스크립트를 사용하여 재생되지 않는 이미터를 숨겼습니다. 그렇게 한 후에도 재생되는 이미터가 꽤 많았어요. Wwise Room과 Portal을 사용해서 이 문제를 해결함으로써 꽤 많은 장점을 얻었습니다.  서로 다른 청각적 공간(3D 모델 공간과 일치)에 있는 이미터를 분리함으로써 이 사운드를 재생하는 데 사용되는 CPU 리소스를 최소화할 수 있었습니다.

 

다른 공간에서의 사운드는 포털을 통해 채널되며 잔향 처리를 제한합니다.

다른 공간에서의 이미터 사운드가 포털을 통해 리스너에게 올 경우 포털 자체가 이 사운드의 이미터가 되죠. 바로 이 기능을 사용하여 다른 공간에서의 사운드에 반사를 처리하지 않아도 되었기 때문에 시스템 리소스를 절약할 수 있었습니다. 적어도 리스너와 같은 공간에 있는 이미터를 처리하는 데 드는 리소스보다 적게 사용하도록 할 수 있었어요.

고객  발표

저희는 Oculus Rift와 Beyerdynamic DT770 Pro 헤드폰을 사용하여 조용한 데모 공간에서 발표를 진행했습니다. 헤드폰을 사용했기 때문에 이미터를 알맞게 필터링하고 믿을만한 방향성을 제작하기 위해서 버스 체인에 공간화 플러그인을 사용해야 했어요. 저희는  Wwise용 Resonance Audio를 사용했지만 Oculus Spatializer와 같은 다른 스페이셜라이저(공간화 프로그램)도 권장해드립니다. 스페이셜라이저는 HRTF 모델로 들리도록 음색을 바꾸는 경향이 있는데, 이 HRTF 모델은 한 특정인에 완전히 알맞기보다 평균적인 귀 모델에 두루 기반하는 경우가 많습니다. 하지만 잃는 것보다 얻는 것이 많아요.

이 발표를 통해서 고객이 사무실 인테리어 설계 과정을 계속 진행할 때 참고할 다섯 개의 중요한 결론을 얻을 수 있었습니다. 이 결론을 통해 일부 회의 공간에는 보다 흡수력 있는 재료를 사용하고 열린 구조의 사무실 환경에서는 방해(obstruction)을 더 많이 사용하기로 결정할 수 있었죠. 이렇게 시뮬레이션을 시험하고 발표하는 것의 실제 핵심 목적은, 작업 환경에 열린 공간에서의 소리와 소음에 대해 아는 것이 얼마나 중요한지를 깨닫게 하는 것입니다. 시뮬레이션을 통해 일부 근무자들에게 소리가 얼마나 쉽게 전달되어 영향을 끼칠 수 있는지 들어봄으로써 어떤 소음이 어떤 근무자들에게는 괜찮고 어떤 이들에게는 방해가 되는지 의식적으로 결정할 수 있었어요. 예를 들어, 서서 대화하거나 전화를 받는 일은 다른 곳에 가서 해야 하지만, 책상에서 하는 간단한 업무 관련 대화는 물리적 차단을 통해 다른 직원들에게 방해가 되는 걸 막을 수 있죠.

프로젝트를 통해 배운 기술적 팁

• 원본 사운드, 초기 반사음, 후기 반사음을 각각 솔로할 수 있도록 반드시 버스를 라우팅하세요. 뿐만 아니라 새로운 3D Meter 비주얼라이저를 사용하니 프로파일링하면서 믹스를 이해하기가 아주 쉬웠습니다. 이 비주얼라이저는 소리가 반사되는 방식과 그 결과를 고객이 시각적/청각적으로 이해하는 데 도움이 되었습니다.  여기에서 3D 미터가 작동하는 모습을 동영상으로 확인해보세요.

• 초반부터 하드웨어에서 제작하고 시험하세요. VR과 스페이셜라이저는 리소스를 많이 필요로 하기 떄문에 Wwise Advanced Profiler를 사용하여 플러그인을 모니터링하세요. 시각적으로 90FPS를 매끄럽게 실행하는 것이 중요했기 때문에 오디오에 집중하는 데 방해되는 것이 거의 없었습니다.

• Wwise가 가진 새로운 기능의 수많은 가능성과 도전 과제를 알아두세요. Wwise는 고급 도구이기 때문에 Room과 Portal를 사용하여 Reflect를 설정하는 것이 어려울 수 있습니다. 하지만 그만큼 굉장한 결과를 얻게 될거예요.

• Wwise Reflect를 통한 소리는 정말 훌륭했습니다. 그리고 모델에 있는 일부 공간의 초기 반사음을 낮추기 위해 실제 벽에 흡수력이 더 높은 재료를 사용해야 한다는 것을 이해하는 데 많은 도움을 주었죠. Wwise Reflect를 꼭 사용해보세요!