AppAnnie2021 모바일 게임 리포트는 강력한 소셜 인터랙션 속성을 가진 배틀 그라운드, 슈팅 및 온라인 MOBA가 플레이어들의 사랑을 많이 받았으며 게임 시간 증가를 견인했다고 밝혔습니다. <배틀 그라운드>, <Call of Duty>, <FreeFire>등 인기 게임에서 음성 인터랙션은 이미 플레이어들의 습관으로 자리 잡았으며 신규 소셜 게임 Roblox, Among us 역시 Z세대 사이에서 큰 인기를 끌고 있습니다.


현재 다중 사용자 게임과 소셜 인터랙션이 트렌드가 되었지만 게임 시나리오에 음성을 삽입하여 플레이어에게 최고의 현장감을 선사하는 문제는 여전히 많은 어려움을 안고 있습니다.

Wwise+GME 솔루션을 통해 게임에서 손쉽게 실시간 음성 채팅에 액세스하고 최고의 몰입형 게임을 경험할 수 있습니다. 본 문서는 솔루션 장점, 기술 구현, 음성 플레이 3개 부분으로 나누어 솔루션 고유의 특징을 소개합니다.

Wwise+GME 솔루션은 무엇인가요?

Game Multimedia Engine(GME)은 게임 시나리오를 위해 제작된 원스톱 음성 솔루션으로 다중 사용자 실시간 음성, 음성 메시지, 음성 텍스트 변환 및 음성 분석 등 기능을 제공합니다. 개발자는 API를 호출을 통해 GME SDK에 액세스하여 게임 음성 기능을 구현합니다.

기존의 독립적 음성 SDK 솔루션 액세스 과정은 게임 사운드 설계와 별개로 이루어집니다. Wwise 오디오 엔진을 기반으로 한 게임은 Wwise+GME 솔루션을 통해 음성 액세스를 게임 사운드 설계 과정에 통합할 수 있으며, Wwise의 강력한 오디오 프로세싱 및 제어 기능을 모두 음성에 적용할 수 있습니다. 이를 통해 음성 음질이 향상되고 게임 사운드에 더욱 풍부한 음성 플레이 설계가 가능해집니다. 기본 프로세스는 다음과 같습니다.

상기 이미지를 보면 GME의 플러그 인을 통해 로컬의 발송 대기 음성(마이크로 녹음한 로컬 플레이어 음성) 및 네트워크로 수신한 음성(로컬 재생 대기 기타 플레이어 음성)은 모두 Wwise 프로세싱 파이프로 발송되고 GME 음성 스트림은 Wwise의 기본 오디오 소스로 개념화됩니다. 이런 독특한 설계를 바탕으로 Wwise+GME는 기존 독립 음성 SDK 솔루션에는 없는 유니크한 장점을 갖추었습니다.

Wwise+GME 솔루션만의 장점

1. 음성과 게임 사운드 통합 설계:

Wwise 프로그래밍에서 GME 음성 오디오 스트림은 매끄럽게 Wwise 오디오 파이프라인에 액세스하며, 음성 액세스 과정과 Wwise의 사운드 설계 과정이 통합되어 음성 SDK 단독 액세스로 인한 오디오 충돌 문제를 방지합니다. 게임 프로그램에서 GME 음성으로 수발신한 작업은 개별 Wwise 이벤트의 트리거로 개념화됩니다. 이런 작업과 Wwise의 표준 개발 프로세스는 일치하며 이전의 API 호출을 통한 액세스 방식보다 훨씬 직접적이고 생생한 느낌을 줍니다.

2. 마이크 켠 후 게임 사운드 음질 저하 및 볼륨 점프 문제 해결:

기존 독립 음성 SDK 솔루션의 경우, 마이크를 켠 후 게임 사운드 음질 저하, 볼륨 점프 및 목소리가 건조하게 들리는 등의 문제점이 있었습니다. 특히 마이크를 켠 후 전체 게임 사운드가 ‘전화 음질’ 상태(낮은 샘플링 레이트의 싱글 사운드 채널 신호)가 되어 플레이어의 게임 몰입을 방해했습니다. 하지만 Wwise+GME는 모바일 게임에서 마이크를 켠 후 볼륨 유형 전환 시 발생하는 음질 저하 문제를 해결하고 마이크를 켠 후의 목소리 음질을 개선했습니다. 또한 채팅을 하면서 기존 사운드를 유지하여 게임 입체 음향 효과를 구현합니다.

3. 강력한 설계 능력으로 끊임없이 새로운 게임 플레이 개발

Wwise+GME 솔루션을 통해 더 다양한 게임 음성 플레이를 설계할 수 있습니다. 음성 스트림이 모두 Wwise 버스로 전송되기 때문에 Wwise의 풍부한 사운드 처리와 제어 기능을 음성에 적용할 수 있고 모든 채널의 음성 스트림에 맞춤형 프로세싱 할 수 있습니다. 이를 통해 게임 과정의 몰입감과 재미가 배가되어 생생한 플레이어 커뮤니케이션을 즐길 수 있습니다.

기술 구현

음성 채팅은 주로 2개의 오디오 스트림 링크와 관련되는데, 업스트림 링크는 로컬 마이크로 본인의 목소리를 수집하여 서버를 통해 원격 팀 플레이어에게 전송하는 것입니다. 다운스트림 링크는 서버로 모든 팀 플레이어의 음성을 수신하여 오디오 믹싱 후 로컬 재생 디바이스로 재생하는 것입니다.

업스트림 링크:

플레이어의 로컬 채팅 음성 스트림은 GME 수집 플러그 인을 통해 Wwise 엔진으로 전송되며 Wwise의 풍부한 사운드 처리 기능을 바탕으로 게임 클라이언트는 플레이어의 실제 환경과 니즈에 따라 텍스처, 에코 및 음성 변조 등 처리를 진행합니다. 플레이어 롤이 예배당에 있는 경우 처리를 거쳐 예배당 에코를 더한 음성 스트림이 GME 발송 플러그 인을 통해 서버로 발송되고 다시 원격 플레이어에게 전달됩니다. 마찬가지로 게임에 음성 변조 플레이를 설계하면 실시간 음성 변조 알고리즘으로 처리한 음성 스트림이 원격 플레이어에게 전달됩니다.

업스트림 링크 처리 프로세스

다운스트림 링크:

업스트림 링크의 단일 채널 로컬 음성 스트림과 다르게 다운스트림 링크는 일반적으로 모든 팀 플레이어의 N개 채널의 음성 스트림을 수신합니다. 이런 음성 스트림은 GME 수신 플러그 인을 통해 Wwise 엔진에 전송되고 게임 클라이언트는 각 채널에서 수신한 음성의 플레이어가 처한 게임의 실제 시나리오, 예를 들어 로컬 플레이어의 위치, 거리 및 장애물 유무 등에 맞춰 사운드 처리를 진행합니다. 처리 후 데이터는 Wwise 오디오 믹싱을 거쳐 로컬 디바이스에서 재생됩니다. 구체적인 게임 시나리오를 예로 들면 팀 플레이어 A가 로컬 플레이어의 왼쪽에 있는 경우 A의 목소리를 왼쪽에서 들을 수 있으며 B가 바위 뒤로 뛰어갔다면 B의 목소리는 바위에 막혀 굴절된 소리가 납니다. 또한 다른 플레이어로부터 가까워지거나 멀어지는 경우 목소리는 커지거나 작아집니다.

다운스트림 링크 처리 프로세스

게임 시나리오를 기반으로 처리한 음성은 기존의 독립 음성 SDK의 ‘음성 회의’ 같은 게임 사운드와는 차원이 다른 게임 시나리오와 융합된 몰입형 음성 경험을 선사합니다. 다음 영상은 Wwise+GME 솔루션의 기본 사용법을 소개합니다. Demo 영상에 좌우 버츄얼 스테레오 기술을 적용했사오니 휴대폰으로 시청하는 경우 헤드셋을 착용하시기 바랍니다.

비디오는 일인칭 시점으로 진행되며 맞은편의 회색 로봇은 팀 플레이어가 귀하와 GME를 통해 대화하는 것으로 3D, 음성 변조 및 에코 등은 음성 채팅 프로세싱에 적용됩니다(비디오의 모든 음성은 원격 플레이어 화면을 실시간으로 녹화한 것으로 사후에 합성 제작한 것이 아님).

(클릭하여 재생. Demo에 좌우 버츄얼 스테레오 기술이 적용되었습니다. 생생한 체험을 위해 헤드셋을 착용하십시오.)

다양한 음성 플레이

Wwise+GME 솔루션의 독특한 설계를 통해 음성이 게임 사운드 설계의 일부분으로 자리 잡았습니다. 더욱 다양한 플레이 방법이 오디오 디자이너들의 손을 통해 탄생하기를 기대하며 다음으로 필자가 생각하는 구현 가능한 음성 프로세싱 방법을 소개합니다.

환경음 또는 반주음 발송:

Wwise+GME는 플레이어 음성 외에 다른 오디오 스트림도 음성 서버로 발송할 수 있습니다. 이 기능을 가장 쉽게 만날 수 있는 응용 시나리오는 노래방입니다. 게임의 경우 다음과 같은 게임 시나리오를 생각해 볼 수 있습니다. 게임 롤이 비가 오거나 바람이 부는 장소에 있는 경우 플레이어와 팀 플레이어가 통화하면 몰입형 체험에는 비나 바람 소리를 적절히 음성에 믹싱해야 합니다. 물론 플레이어의 게임 진행 상황에 따라 목소리 Emoji를 발송하여 재미를 배가시키는 등 다른 응용 시나리오에도 적용할 수 있습니다.

음성의 반사 회절 등 프로세싱 시뮬레이션:

몰입형 음성 체험은 음성의 렌더링 및 게임의 실제 시나리오와 결합해서 고려해야 합니다. 본 문서에서 앞서 언급한 텍스처, 감쇠, 음성 변조, 에코 및 기본 3D 포지셔닝 프로세싱은 기본 처리에 불과하며 게임 시나리오에서 발화자와 듣는 사람 간의 음성 전송 경로를 더욱 실감나게 시뮬레이션하기 위해 Wwise의 반사, 회절, Occlusion 및 방해 모드를 통해 팀 플레이어 간의 음성을 처리할 수 있습니다. 이런 프로세싱이 바로 Metaverse가 추구하는 최고의 음성 효과입니다.

캐릭터 성격 및 상태 프로세스:

게임 음성의 재미를 더하기 위해 게임 시나리오에서 플레이어의 성격 및 상태 변화에 따라 음성에 특별히 설계한 DSP 프로세싱을 진행할 수 있습니다. 예를 들어 게임에서 플레이어가 총에 맞아 피를 흘리는 경우 음성에 왜곡, 딜레이 또는 떨림 처리를 하여 고통을 표현할 수 있습니다. 플레이어가 상대방과의 경쟁에서 이기거나 보물을 획득한 경우 음성에 하이패스 필터링 또는 가속 처리를 하여 플레이어의 흥분된 기분을 표현할 수 있습니다.

사이드 체인 프로세싱:

사이드 체인은 오디오 믹싱 제작 과정의 필수적인 처리 방법으로 기본 원리는 하나의 채널 신호를 통해 다른 채널의 신호를 제어하는 것입니다. 게임에 음성 기능을 추가하는 것은 게임의 소셜 속성을 위한 것으로 음성은 명확하게 상대방에게 전달되어야 합니다. 플레이어가 말을 할 때는 게임 오디오 믹싱의 초점이 게임 사운드가 아닌 음성에 맞춰져야 합니다. 이는 라디오에서 DJ가 말을 할 때는 재생 음악의 볼륨이 줄어들고 말을 마치면 원래의 볼륨으로 돌아오는 것과 유사합니다. Wwise+GME 솔루션은 음성 스트림을 모두 Wwise 버스로 보내는데 이는 게임 시나리오에도 적용 가능합니다. 예를 들어 수신한 음성에 Wwise Meter를 설정한 후 Meter 값에 따라 다른 사운드의 볼륨 크기를 동적으로 제어합니다.

다음은 Wwise+GME의 다양한 기능을 소개하는 Demo 비디오로, 음향 반사, 방해 및 사이드 체인 등 GME 음성에 대한 처리 기능을 보여줍니다. 비디오에서 일인칭, 삼인칭 및 조감도 시각을 보여주며 초록색 로봇은 GME를 통해 팀 플레이어가 귀하와 대화하는 것으로 로봇의 위치와 환경 변화에 따라 음성이 프로세싱됩니다(상세 내용은 자막 표시). 이렇게 처리된 음성 채팅은 마치 그 자리에 있는 듯한 몰입감을 선사합니다. 마찬가지로 비디오의 모든 음성은 원격 플레이어 화면을 실시간으로 녹화하여 발송한 음성이며 사후에 합성 제작된 것은 아닙니다.

(클릭하여 재생. Demo에 좌우 버츄얼 스테레오 기술이 적용되었습니다. 생생한 체험을 위해 헤드셋을 착용하십시오.)

결론

오디오 엔진 미들웨어 Wwise와 게임 음성 솔루션 GME는 각각 다양한 차원에서 게임 품질을 개선합니다. Wwise 오디오 엔진은 게임의 인터랙션 사운드 개발 효율과 게임 오디오 경험을 향상시키고, GME는 게임의 소셜 기능을 강화하여 게임에 대한 플레이어 충성도를 높입니다. 오디오 엔진 Wwise와 게임 음성 솔루션 GME가 만났을 때, GME는 강력한 시너지 효과를 창출합니다. 통합 솔루션 Wwise+GME는 게임 사운드 디자이너의 강력한 툴이 될 것이며 생생하고 풍부한 최고의 게임 사운드를 창조할 것입니다.