atmoky Ears는 헤드폰에서 초현실적 공간 음향 경험을 렌더링할 수 있도록 해주는 종합 솔루션입니다. 모든 공간 음향 믹스를 최대한 활용하면서 지각적 품질과 효율성의 최고의 조합을 제공합니다. atmoky Ears는 특허받은 지각적 최적화를 제공합니다. 장치의 성능을 최대한 활용하고자 하는 분들을 위해 atmoky Ears는 그 차이점을 이끌어주는 기능을 제공합니다.

atmoky Ears | 저작 도구

atmoky Ears | 이 플러그인을 제작한 이유!

실제로 우리는 주변을 둘러싸는 최대 1000개의 방향을 구분할 수 있다는 사실을 아시나요? 우리는 이 정보를 사용해서 환경과 '음향 씬' 안에서 자유롭게 움직이면서 공간에 대한 많은 것을 결정할 수 있는 능력을 갖습니다. 우리 귀는 3차원적으로 듣습니다.

가상 환경에서 이 청각적인 이해의 깊이를 맞춰서 초현실적인 공간 음향 경험을 제작하려면 렌더링에서 머리의 움직임을 포함함과 동시에 설득력 있는 높은 공간적 해상도와 그럴듯한 공간적 특성을 제공해야 합니다. 짧게 말해 동적 렌더링이 꼭 필요하죠!

이 꿈을 품은 채로 우리는 공간 음향의 모든 풍요를 헤드폰에 렌더링하여 모든 필요를 충족시켜줄 한 플러그인을 고안하기 시작했습니다.

플러그인을 제작하면서 많은 경로를 통해 수많은 귀를 빌려 들어보면서 깨닫게 된 점은 바로 모든 기대를 충족시키는 솔루션을 찾는 것이 상당히 어렵다는 것이었습니다. 계산 능력이 제한된 경우 더 그랬죠. 스포일러를 먼저 말하자면, 결국 저희가 해냈답니다 :)!

그래서 이 글을 통해 저희 여정에서 배운 것들을 소개해드리려고 합니다!

동적 렌더링은 필수적입니다

한 공간에서 스피커로 뭔가를 들을 때 스피커가 여러분의 머리가 움직임에 따라 같이 움직이던가요? 아니라구요? 혹은 머리 움직임에 따라 같이 움직인 다음 다시 원위치로 돌아오던가요? 그것도 아니라구요? 아니면 음원의 음색이 확연하게 바뀌던가요?

저희도 그런 경험은 한 적이 없어요! 하지만 수년간 우리는 헤드 트래킹(head-tracked) 바이노럴 렌더링에서 이런 경험을 다 해봤답니다.

머리를 움직이면서 음원이 같이 움직인다면 렌더링이 동적이지 않은 것이 분명하죠. 하지만 저희 경험을 빗대어 볼 때 동적 렌더링은 상호작용 공간 음향에 필수적인 요소이며 씬에 몰입되는 느낌을 줍니다. 명확하게 말씀드리자면 저희는 가능하면 모든 경우에 동적 렌더링을 사용해야 한다고 생각합니다. 다행히도 Wwise는 바로 이 기능을 제공합니다.

동적으로 렌더링할 때 흔히 발생하는 문제는 헤드 트래커 자체의 레이턴시입니다. 언캐니 벨리(uncanny valley)에 오신 것을 환영해요. 슬프게도 저희는 하드웨어 제조사가 아니며 무선 전송 프로토콜을 제어할 수 없기 때문에 이 문제를 해결할 수가 없습니다. 하지만 5G는 많이 기대되네요.

그러나 atmoky Ears는 지각적으로 최적화된 렌더링을 통해 위치 혹은 방향에 따른 착색 문제를 해결해줍니다. 그래서 머리를 움직이거나 음원이 주변으로 이동하면서 음원의 음색이 부자연스럽게 바뀌지 않게 되죠. 궤적과 서로 다른 방향은 현실에서 의도한대로, 예상한대로 인식됩니다.

'머리 밖'에 있는 경험 선사하기

무반사실이나 무반사 환경에서 눈을 감고 스피커를 통해 무언가를 들어본 적이 있나요?

저희가 이 실험을 해봤는데, 스피커가 어디에 있는지 가리킬 수는 있었지만 정확히 얼마나 멀리 있는지를 가늠하기가 어렵더군요.

이 점이 공간 음향이나 몰입형 음향과 어떤 관련이 있을까요?

외부화된 사운드는 가상 공간, 단순화된 공간, 혹은 이와 비슷한 곳에 배치되어야 합니다. 바로 이 이유때문에 저희는 atmoky Ears에 믹스의 특성과 음질을 유지해주면서 '머리 밖에 있는듯한' 느낌을 주기 위해 최적화된 외부화 장치(externalizer)를 넣었습니다.

모든 세대를 위한 경험

어린이가 가상 음향 씬에서 뭔가를 들을 때 음원이 어디에 있다고 생각하는지 물어보신 적이 있나요?

저희가 그 질문을 해봤습니다. 예상했듯이 인간의 청각은 연령대에 따라 참 다르더군요. 사람들은 저마다 선호하는 것도 다양할 뿐만 아니라 강점과 모양도 서로 다릅니다. 이 부분은 각각 공간 음향에서 중요한 의미를 가지죠. 저희는 고음질 오디오와 각 연령대별 청각적 선호도에 따라 조절된 자체적인 atmoky HRTF 세트를 개발했습니다. atmoky Ears의 개인화는 어린이, 청소년, 어른에 대해 커스터마이징된 믹스를 제공할 수 있게 해줍니다.

특정 연령대를 대상으로 하는 게임과 프로젝트가 분명히 있을 거예요. 특히 가상 현실 교육 게임이나 불안 치료가 이 개인화된 프리셋을 통해 큰 도움을 얻을 것이라고 생각합니다.

핵심은 바로 효율성입니다

헤드폰과 스마트폰만으로 몰입적인 공간 음향 이야기를 전하려고 하신 적이 있나요?

저희도 그런 경험은 한 적이 없어요! 하지만 그런 사람을 알고 있죠.

저희는 토마스 에이칭거(Thomas Aichinger)가 제작한 프로젝트에서의 피드백을 활용하고 지각적 음질 vs. 계산적 노력을 설계적으로 거래하게 해주는 고유한 최적화 시스템을 개발했습니다 (조금 있다 토마스에 대한 얘기를 더 해드리겠습니다). 보다 낮은 하드웨어 성능과 더 엄격한 배터리 요구 사항으로 인해 특히 설정이 더 까다로울 경우를 대비해서 플러그인에서 필요로 하는 메모리와 CPU 리소스를 최대 50% 만큼 줄이는 성능 모드를 추가했습니다.

아이스크림 가게에는 수많은 맛의 아이스크림이 있습니다

아이스크림 맛과 마찬가지로 공간 음향 형식과 규칙의 '맛'도 정말 많고, 저희는 이 모든 맛을 다 좋아합니다. 그렇기 때문에 atmoky Ears는 씬 기반 형식뿐만 아니라 채널 기반 표준 레이아웃을 모노에서부터 13.1 구성까지 렌더링합니다.

모든 공간 음향 '맛'을 다 좋아하긴 하지만 음원을 모든 방향(위/아래도 포함)으로부터 렌더링하는 것과 레이아웃에 상관 없이 렌더링하는 변수가 가장 심장을 뛰게 합니다.

플랫폼의 종류는 다양합니다

atmoky Ears는 macOs, Windows, Linux, iOs, Android에서 제공됩니다. 그리고 곧 다른 플랫폼에서도 제공하기로 계획하고 있습니다. 여러분의 프로젝트에서 사용하는 플랫폼에서 제공되지 않는다면 저희에게 이메일을 보내주세요. 가능한 한 빨리 지원해 드리겠습니다.

atmoky Ears - 위치 기반 증강 음향 경험

헤드폰과 스마트폰만으로 몰입적인 공간 음향 이야기를 전하려고 하신 적이 있나요?

저희는 없습니다! 저희도 그런 경험은 한 적이 없어요! 하지만 그런 사람을 알고 있죠. 전체 이야기를 들려드리죠.

scopeaudio(스콥오디오)의 토마스 에이칭거

DeLorean(드로리안)에서 시간 여행은 상징적인 요소입니다. 하지만 헤드폰과 스마트폰만 있다면 음향적으로 시간 여행을 할 수 있다고 상상해보세요. 꽤나 멋지지 않나요? 

저희 scopeaudio도 그렇게 생각했습니다. 그래서 hoeragentur(호라겐터)와 함께 Sonic Traces(소닉 트레이시스)라는 몰입형 증강 오디오 경험을 제작했습니다. 저희는 비엔나의 헬덴플라츠(Heldenplatz)를 무대로 하여 사용자를 역사의 다양한 경로로 이끌고 직접 그 세계로 들어가보거나 새로운 음향 세계를 경험할 수 있도록 청각적 표시를 남겨두었습니다.

안으로 걸어다녀볼 수 있는 대안적 가상 음향 현실(6DoF)을 사운드와 음성을 통해 제작하는 것이 저희 작업의 핵심이었죠. 저희는 기술을 사용해서 이 새로운 스토리텔링 기법을 지원했습니다 (그 반대가 아니라요!). 하지만 작업 과정 도중 다양한 기술적 어려움과 제약이 있었습니다. 몇 가지 어려움은 사용자 위치 추적과 관련된 것이었고, 몇 가지는 공간 음향 콘텐츠 렌더링과 직접 관련된 것이었습니다.

지각적 음질과 계산적 노력 간에는 항상 균형이 필요합니다. 하지만 특히 계산 리소스가 제한된 스마트폰의 경우 만족스러운 결과를 얻기 위해 아주 조심스럽게 조정하고 튜닝해야 했습니다.

저희는 이 경험을 atmoky 팀과 공유하고 atmoky Ears 플러그인에 저희 경험에 대한 피드백을 활용할 수 있도록 해드렸습니다. 저희가 플러그인을 시험해본 결과 정말 확신이 서더군요. atmoky Ears 플러그인은 최고의 지각적 음질 vs. 계산적 노력 간의 최적의 균형을 제공해줍니다. 그래서 휴대 장치와 강력한 장치에서 모두 최고의 공간 음향 품질을 제공하려고 하는 저희 모든 애플리케이션과 게임에 최적한 솔루션이라고 할 수 있죠.

하지만 이 플러그인은 단지 효율성 측면에서만 대단한 것이 아닙니다. 외부화 장치(externalizer)를 일종의 기초 레이어로 사용해서 '머리 밖에 있는 경험'을 만들어보실 것을 강력히 추천해드립니다. 프리셋은 양(amount)을 44로, 문자(character)를 71로 설정하시는 것이 좋습니다!

마이클 이베(Michael Iber)의 추천사

“외부화는 3D 오디오를 사람의 귀에 사실적으로 투영하는 데에 꼭 필요한 속성입니다. 잘 알려진 IEM 플러그인의 바이노럴화 알고리즘을 볼 때 atmoky Ears는 씬과 사용된 음원의 속성에 따라 외부화 의존도를 조정할 수 있다는 점에서 아주 독특한 도구라고 할 수 있습니다. 그렇기 때문에 플레이어의 움직임이 음향적으로 매우 사실적이게 되어서 청각적 포위와 몰입도의 전반적인 느낌을 향상시켜 줍니다. 제가 다양한 환경에서 이 플러그인을 구현하는 것이 얼마나 쉬운지 시험해보았고 결과에 꽤나 놀랐습니다. “
마이클 이베