설명

AkAudioMixer 모듈은 플랫폼과 상관 없이 사용할 수 있는 Unreal Audio Mixer를 제공하여 Unreal과 Wwise 오디오 믹서가 동시다발적으로 실행될 수 있도록 하기 위해 설계되었습니다.

Unreal Audio Mixer는 이미 플랫폼과 독립적이기 때문에 Windows, Mac, Android, 콘솔에서 동일하게 작동합니다. Unreal은 플랫폼의 하드웨어와 플랫폼에 독립적인 코드 간의 상호작용을 처리하는 Mixer Platform을 사용하여 플랫폼과의 독립성을 만들어줍니다. Unreal Audio Mixer와 Wwise SDK는 자동으로 초기화되며 플랫폼의 오디오를 처리합니다. 하지만 대부분의 플랫폼은 (특히 하나의 고유한 오디오 시스템을 초기화하는 콘솔의 경우) 여러 음원으로부터 오디오를 동시에 수신하지 못합니다. 일부 플랫폼의 경우 두 번 초기화하면 강제 종료되며 일부의 경우 두 시스템이 동일한 오브젝트와 맹목적으로 상호작용할 수 있도록 해줍니다.

현재 Wwise 문서에서는 프로젝트가 Wwise를 활성화할 경우 Unreal의 Audio Mixer를 비활성화할 것을 권장하고 있습니다 (자주 묻는 질문 참조). AkAudioMixer 모듈은 동시다발적이며 플랫폼과 상관 없이 사용할 수 있는 솔루션을 제공하여, Unreal의 Audio Mixer 기본 플랫폼(XAudio2, SDL Audio, AudioOut 등)이 대신 Wwise 플랫폼을 사용하도록 해줍니다. 이로 인해 Wwise가 Platform Sound Engine을 올바르게 초기화하고 Unreal이 오디오를 처리할 수 있게 됩니다.

이 모듈은 두 개의 서로 다른 입력 컴포넌트를 제공해주며, 이 컴포넌트는 모두 기본 AkAudioInputComponent를 통해 처리됩니다.

더 많은 정보는 Wwise 301 자격증 과정에서 Audio Input 게시하기를 참고해 주세요.

Main Mix (FAkMixerPlatform)

FAkMixerPlatform은 Wwise Sound Engine이 Unreal Audio Mixer의 플랫폼 전용 부분을 대체하도록 해줍니다. 그러면 스테레오 피드를 통해 Unreal 믹스 다운의 최종 결과를 Wwise Audio Input으로서 가져올 수 있게 됩니다.

Audio Mixer를 비활성화하는 이전 솔루션의 경우 오디오 시계가 Unreal에 제공되지 않아서 오디오 피드를 구동할 수 없는 한계가 있었습니다. 그렇기 때문에 Unreal이 오디오를 제공할 수가 없었습니다. Audio Mixer를 구동할 무언가(FAkMixerPlatform)를 제공할 경우 전체 Unreal 오디오 하위 시스템이 Wwise 오디오 시스템과 함께 완전히 작동하게 됩니다.

현재 솔루션은 Unreal 오디오를 스테레오로만 제공할 수 있습니다. 이 Unreal 믹스다운은 Wwise에서는 뮤트되며 임시변통 솔루션으로만 사용됩니다. 두 개의 서로 다른 동시다발적 공간화 방법을 사용할 경우 오디오 문제가 생기기 때문에 이 솔루션은 신속한 임시 해결 방법으로 제공됩니다. FAkMixerPlatform이 올바르게 구성되고 나면 오브젝트의 실제 입력이 필요할 경우 프로젝트가 Unreal 서브믹스를 사용하게 됩니다.

Component Submix (UAkSubmixInputComponent)

AkSubmixInputComponent는 모든 Unreal 오디오 서브믹스를 Wwise Audio Input 컴포넌트로 쉽게 연결할 수 있게 해줍니다. 이 방법을 사용하면 동영상에서의 오디오와 같이 믹스의 일부를 가져와서 Wwise로 개별적으로 전송할 수 있습니다. 이 서브믹스는 Wwise의 요구에 따라 어떤 채널 구성으로든 제공될 수 있습니다. 물론 Unreal에서 Wwise로 오디오를 전달하는 데에 어느 정도 한계와 성능에 관한 고려 사항이 있습니다. 가능하면 전체 흐름이 Wwise에서 직접 진행되도록 구성하는 것이 좋습니다.

UAkSubmixInputComponent를 사용하는 것은 개별적인 액터에서 Unreal 오디오를 가져올 때 선호하는 방법입니다. 일반 Wwise Unreal 통합을 사용하면 Audio Input Component을 해당 액터 위치와 연결할 수 있으며 Wwise로 통합된 공간화를 사용하거나 2021.1 이상 버전에서 제공되는 오브젝트 기반 파이프라인을 사용하여 프로젝트에 필요한 오디오 속성과 음질을 성취할 수 있습니다.

이 컴포넌트는 FAkMixerPlatform을 필요로 하지 않으며 독립적으로 사용할 수 있습니다. 하지만 Unreal의 플랫폼 전용 오디오와 Wwise의 플랫폼 전용 싱크를 동시에 초기화할 경우 두 개의 동시다발적 오디오 파이프라인이 생겨나면서 일부 플랫폼에서 강제 종료가 일어날 수 있습니다.

초기화

FAkMixerPlatform과 UAkSubmixInputComponent는 모두 Wwise 'Play' Event를 통해 초기화됩니다. 그러면 Wwise Sound Engine이 Unreal 컴포넌트 폴링(polling)을 시작할 수 있게 됩니다.

Event를 활성화하면 폴링 과정이 시작되며 이 과정은 절대 가상화되어서는 안됩니다. 이 과정은 시작/중단되기만 하며 FAkMixerPlatform 입력 컴포넌트는 항상 재생되어야 합니다. 그렇지 않으면 Unreal 오디오 파이프라인이 올바르게 작동할 수 없게 됩니다.

폴링 순서

Unreal 폴링 순서 다이어그램

초기화가 끝나면 전반적인 오디오 파이프라인이 다음 오디오 분량을 하드웨어에 제공하기 위해 몇 밀리세컨드마다 실행되는 '트리'로 간주됩니다.

이 트리는 먼저 플랫폼 하드웨어가 Wwise Sink로부터 오디오 버퍼를 요청하는 것으로 시작됩니다. 그런 다음 Wwise Sound Engine이 재생되는 모든 Audio Input Component의 오디오를 위해 폴링합니다.

이 때 FAkMixerPlatform이 폴링되어 Unreal Master Submix로부터 다음 버퍼를 요청하게 됩니다. 그러면 Unreal의 원형 오디오 버퍼가 비워져서 전체 파이프라인이 계속해서 작동할 수 있게 해줍니다.

오디오 버퍼링

버퍼 다이어그램

두 개의 순차적인 동시다발적 시스템이 있을 경우 최종 믹스에 레이턴시가 어느 정도 생기게 됩니다. Unreal은 A/V 컴포넌트가 자체적인 속도로 재생된다고 간주하며 원형 버퍼를 사용하여 Audio Mixer가 요청하는 것과 동일한 속도로 오디오를 제공합니다.

또한 Unreal Master Submix도 Audio Mixer의 FOutputBuffer에 원형 버퍼가 구성되어 있어서 오디오가 유효한 속도로 제공되도록 해줍니다.

개별적인 서브믹스가 Master Submix에 의해 내보내지며 Wwise가 동시에 해당 버퍼를 요청하기 때문에 Unreal과 Wwise가 모두 요청을 내보내게 됩니다.

마지막으로 Wwise의 Sink에도 버퍼링이 있습니다. 이 버퍼는 코드에 의해 커스터마이징할 수 있습니다.

FAkMixerPlatform 구성

Wwise Audio Input 음원 플러그인은 외부 음원에서의 입력을 Wwise 안에서 사용할 수 있게 해줍니다. Wwise는 주어진 모든 입력에 이 플러그인을 사용합니다.

Master-Mixer Hierarchy

Actor-Mixer Hierarchy

Unreal Mix를 캡처하려면 반드시 하나의 Wwise Audio Input과 데이터 수집 과정을 시작하는 Event를 만들어야 합니다.

Master-Mixer Hierarchy에서 버스를 만들고 Wwise Audio Input 음원 플러그인을 사용하는 Sound SFX 오브젝트를 만드는 것을 권장합니다. 이 예시와 다른 이름을 사용하거나 다르게 구성해도 됩니다. 중요한 것은 이 컴포넌트가 제공하는 오디오가 결국 제거되더라도 Master Audio Bus와 최종적으로 연결되어 있는 것입니다. 최종 결과를 뮤트할 경우 보이스가 가상화되지 않도록 해야 합니다. 보이스가 가상화될 경우 Unreal Audio 파이프라인이 실행되도록 유지하는데에 필요한 오디오 폴링이 제거되기 때문입니다.

Wwise 프로젝트 구성

Unreal_Input Source 만들기는 꽤나 간단합니다. 빈 SFX를 만든 후에 Contents Editor에서 'Add Source >>' 버튼을 선택해서 Wwise Audio Input을 추가하면 됩니다.

Input Source 추가하기

원하는대로 음원 레벨에서 혹은 Sound SFX 오브젝트에 직접 볼륨 상쇄값을 설정할 수 있습니다.

Input Source Contents Editor

Sound에 Audio Input 음원을 설정하고 난 후에 이 사운드를 알맞은 Output Bus로 라우팅해야 합니다. 이 예시의 경우 'Unreal Input Bus'로 라우팅합니다.

Input Source 속성

마지막으로 이 Sound SFX를 재생할 Event를 추가해야 합니다. 그렇지 않으면 Audio Input이 시작되지 않습니다. 또한 이 Event 재생은 Unreal에서 FAkMixerPlatform에 어떤 Audio Input을 사용할 것인지 결정하는 데에도 사용됩니다.

Audio Input 플러그인을 대상으로 하는 Event를 만들려면 Sound SFX를 선택하고 우클릭한 후 New Event > Play를 선택하세요. Event가 자동으로 Play_[SoundName]라는 이름으로 생성되지만 다른 이름으로 변겅할 수 있습니다.

Play Event 추가하기

프로젝트가 Event-Based Packaging(이벤트 기반 패키징)을 사용할 경우 Event가 자동으로 사용 가능하게 됩니다. 프로젝트가 표준 SoundBank 패키징을 사용할 경우 먼저 SoundBank에 FAkMixerPlatform의 'Play' Event가 있어야 하며 절대 언로드되지 않아야 합니다.

Unreal 프로젝트 구성

Unreal이 플랫폼의 자체적인 Audio Mixer 대신 Wwise 오디오 믹서를 사용하도록 반드시 지시해야 합니다. 각 플랫폼에 대해서 <Project>/Config/<Platform>/<Platform>.ini 이나 <UE4_ROOT>/Engine/Config/<Platform>/<Platform>Engine.ini에 다음 줄을 추가하세요. 프로젝트 설정은 엔진 설정을 덮어 씁니다. 파일이 이미 존재하지 않을 경우 새로 만들어야 합니다.

Unreal Engine 환경설정

그런 다음 알맞은 Wwise 통합을 활성화하고 Project Settings의 Audio Input Event에서 아까 만든 Play Event를 반드시 사용해야 합니다. 이렇게 해야 Unreal 프로젝트에 있는 FAkMixerPlatform 컴포넌트가 Wwise 사운드 엔진과 연결됩니다:

Unreal Input Event

이렇게 기본 구성이 끝났습니다! 이제 Wwise에서(혹은 Unreal Waapi Picker에서) SoundBank를 생성하고 Unreal Editor를 다시 시작하세요. Audio Input Event는 한 번만 초기화되기 때문에 변경할 때마다 Wwise를 다시 시작해야 합니다. Wwise Authoring에서 Unreal Player에 Profiler를 시작하면 Audio Bus가 이동하는 미터가 보일 것입니다.

FAkMixerPlatform 한계

Unreal은 ITargetPlatform 인터페이스를 통해 오디오를 인코딩하는 방식을 결정합니다. 각 플랫폼에서 어떤 오디오 형식이 지원되는지를 결정하기 위해 GetWaveFormat 과 GetAllWaveFormats 메소드가 Derived Data 시스템에 의해 호출됩니다. 이 호출은 AkAudioMixer 시스템에 의해 덮어 써지지 않습니다. 필요한 파일 자체를 덮어 쓰거나 플랫폼 전용 인코딩이 아닌 일반 인코딩을 사용하기 위한 조건에 충족하는지 확인해서 지원되는 일반 형식이 이 함수를 통해 제공되도록 확인해주세요.

혹은 Unreal 소스 코드 변경을 할 수 있으실 경우 다음 파일 패턴에서 대상 플랫폼의 오디오 형식을 변경하세요: Engine/Platforms/<PlatformName>/Source/Developer/<PlatformName>TargetPlatform/Private/<TargetName>TargetPlatform.cpp

플랫폼의 오디오 형식이 다음 파일에 있는 FMixerPlatformWwise의 CreateCompressedAudioInfo 메소드에서 제공하는 형식과 동일한지 확인하세요:

Plugins/Wwise/Source/AkAudioMixer/Private/AudioMixerPlatformWwise.cpp

UAkSubmixInputComponent 구성

Wwise 프로젝트 구성

UAkSubmixInputComponent를 위해 Wwise 프로젝트를 준비하는 작업은 FAkMixerPlatform를 위해 작업하는 것과 비슷합니다. 프로젝트에서 새로운 Wwise Audio Input Source를 만들고 재생할 Event를 만드세요. 이 Event는 나중에 Unreal 프로젝트에 여러분이 만들어야 할 Blueprint와 연결됩니다.

Unreal Project의 오디오 구성

Master Submix 만들고 사용하기

첫 번째 부분은 Unreal 프로젝트가 기본 Master Submix를 덮어쓰고 Audio Submix 흐름을 커스터마이징하도록 구성하게 해줍니다. 이 단계만 완료하고 새로운 Master Submix를 그대로 유지하면서 환경 안에 트리가 없을 경우 Default Master Submix와 새로운 서브 믹스에 아무런 차이가 들리지 않게 됩니다. Unreal 프로젝트 당 하나의 Master Submix만 가질 수 있으며 모든 세계에 공유됩니다.

프로젝트에서 'Master Submix'의 역할을 할 새로운 'Sound Submix'를 만드세요. 아무 이름을 사용해도 되지만 Master라는 것을 내포하는 이름이 좋습니다. 이 에시에서는 'MasterSubmix'라고 합시다.

프로젝트의 Audio Settings에 있는 Mix 섹션에서 Master Submix를 새로 만든 Audio Submix로 설정하세요.

Unreal Project Submix

이제 빈 커스텀 Master Submix가 생겼으며 특수 라우팅이 없습니다. 프로젝트가 Default Master Submix가 있는 버전과 동일하게 들릴 것입니다.

캡처 Submix 만들기

Unreal 안에 있는 여러 액터의 오디오를 효율적으로 캡처하려면 각 서브믹스 종류에 대해 두 개의 새로운 서브믹스를 만들어야 합니다. Unreal에서 서브믹스가 처리되는 방식으로 인해 별도의 두 서브믹스가 있는 계층 구조를 가져야 합니다. 이렇게 하면 서브믹스 오디오가 자체적인 오디오 외의 것과 미리 믹스되지 않도록 해줍니다.

적절한 이름을 위해 서브믹스의 이름을 사용하기로 하고, 두 번째 서브믹스에는 'Passthrough'라는 접미어를 붙여줍시다. 예를 들어 AmbianceSubmix와 AmbianceSubmixPassthrough를 각각 사용합니다. 서브믹스에 필요한대로 어떤 이름을 사용해도 좋습니다.

Master 서브믹스에 커스텀 서브믹스 지정하기

Master Submix 만들고 사용하기 섹션에서 정의한 커스텀 Master Submix를 여세요. 그런 다음 실제 서브믹스와 Master Submix 간에 다른 Passthrough가 설정되도록 그래프를 추가하세요. 서브믹스를 더 많이 추가할 수도 있으며 원하는대로 순서를 정의할 수 있습니다. 이떄 중요한 것은 Submix -> Passthrough -> Next in Tree 대로 순서를 유지하는 것입니다.

예를 들어 서로 다른 두 서브믹스가 있을 경우 다음과 같은 그래프를 가질 수 있습니다:

Unreal 프로젝트 서브믹스

이 시점에서 서브믹스는 사용되지 않으며 지정되지 않았습니다. 모든 오디오가 여전히 Master Submix로 라우팅되기 때문에 프로젝트가 예전과 완전히 같게 들립니다. 하지만 액터가 여기서 정의한대로 DiscussionSubmix와 AmbianceSubmix와 같은 자체적인 커스텀 서브믹스로 전송되고 나면 오디오가 Discussion UAkSubmixInputComponent와 Master Submix로 모두 전송되어 오디오가 중복됩니다.

오디오가 중복되지 않도록 하려면 여러 개인 Passthrough 믹스의 Output Volume을 0으로 설정해야 합니다. 이렇게 하면 오디오가 Master Submix로 전송되지 않으며 Discussion과 Ambiance 서브믹스의 전체 오디오가 커스텀 Wwise Audio Input 컴포넌트로 전달됩니다.

Unreal 프로젝트 서브믹스 볼륨

Unreal Asset 서브믹스 지정

오디오를 서브믹스에 지정하는 것은 아주 쉽습니다. Audio Effect의 Submix 탭에서 에셋의 서브믹스를 사용하고자 하는 서브믹스에 설정하세요.

WAV 에셋

이 예시에서는 새로운 WAV 파일을 Unreal Content Browser에 가져오고 최종 목적지를 정의하도록 서브믹스를 변경했습니다.

이제까지 튜토리얼을 순서대로 따라오셨다면 이 SoundWave 에셋을 재생하더라도 아무 오디오가 생기지 않습니다. Passthrough 볼륨을 0으로 설정하여 소리가 들리는 트랙이 Master Submix로 가지 않기 때문입니다. 그리고 Event가 필요한 Audio Component를 Play/Stop하도록 설정하지 않았습니다.

그리고 아직 컴포넌트로만 설정되었기 때문에 현재 Unreal 세계 안에서 사용되지 않습니다. 이 단계를 다음 섹션에서 실행해봅시다.

Unreal Blueprint 구성

이 섹션은 생성한 서브믹스를 Wwise Audio Input Component와 연결하기 위해 UAkSubmixInputComponent를 구성하는 방법의 예시를 보여줍니다. 이 예시는 그저 사용법을 보여주는 예시이기 때문에 여러분의 프로젝트의 특정 요구 사항에 맞게 설정하세요.

이 튜토리얼에서는 AmbientSound 액터를 통해 오디오를 제공하지만 다른 Audio Component를 사용하거나 심지어 Audio-Video 컴포넌트를 사용하여 서브믹스에 오디오를 재생할 수 있습니다.

Creating an AmbientSound Blueprint 클래스

먼저 Unreal AmbientSound 를 상위 클래스로 가지는 새로운 Blueprint 클래스를 만드세요. 접근 가능한 AkAmbientSound 액터가 있는 것이 보이시나요? 이 액터는 Wwise 전용 Ambient Sound를 만드는 데에 사용되기 때문에 이 튜토리얼에서는 필요하지 않습니다.

이 예시에서는 AmbientSound 액터 컴포넌트의 이름을 'AkSubmixAmbient'라고 했습니다. 여러분의 명명 규칙에 따라 알맞은 이름을 지정하세요.

AmbientSound 추가하기

아까 만든 SoundWave를 Sound 섹션에 있는 AmbientSound 오브젝트에 연결하세요 (다음 그림의 오른쪽 아래 부분에 보이듯이). 이 오브젝트는 여전히 일반적인 컴포넌트이기 때문에 단순히 기본값으로 사용됩니다.

Audio Component Editor

UAkSubmixInputComponent 적용하기

Play/Stop Event를 제어하며 서브믹스를 Wwise Audio Input Component와 연결할 Unreal 컴포넌트가 반드시 필요합니다. 이 작업은 AkSubmixInput Audio Component를 통해 실행됩니다.

AkSubmixAmbient Blueprint의 루트 컴포넌트에 AkSubmixInput 컴포넌트를 추가하세요.

서브믹스 컴포넌트 추가하기

Event Graph에서 Ak Submix Input 컴포넌트의 이벤트를 BeginPlay에 게시하고 EndPlay에 컴포넌트를 중단하도록 하세요.

Component 이벤트 그래프

이렇게 하면 BeginPlay가 완료되면 오디오 데이터 전달이 활성화되며 End Play에 도달하자 마자 중단됩니다. 여기에서 최적화 목적을 위해 창의적으로 작업할 수 있습니다. 기본값보다 더 많이 최적화하려는 경우 액터 자체의 수명 주기를 따르세요. 필요한 경우에만 Audio Input 처리를 시작/중단하세요.

이제 블루프린트를 컴파일하고 저장할 수 있습니다.

Actor를 만들고 Event와 서브믹스 연결하기

새로운 블루프린트를 레벨 안에 드래그해서 인스턴스화하세요.

Details 패널에서 원하는 SoundWave를 Sound 속성에 설정하세요. 이 속성은 기본값이 아닌 실제 값입니다.

사운드 웨이브 설정하기

AkSubmixInput 컴포넌트를 선택하세요.

서브믹스 컴포넌트 설정하기

이제 여기에서 Ak Audio Event가 Wwise Audio Input Component 재생을 시작하고 Submix가 이 Component에서 Record(녹음)하도록 정의하게 됩니다. Submix Input 섹션에서 Record할 알맞은 Submix를 선택하고 Audio Input을 Play할 Ak Event를 선택하세요.

전체 에셋 속성

이렇게 구성이 끝났습니다! 이제 서브믹스가 Ambient 사운드를 재생하고, 서브믹스가 뮤트되어 있으며 (Submix 트리에서 출력 볼륨이 0으로 설정됨), Audio Input이 Wwise에서 알맞게 사용되어 해당 오브젝트의 오디오를 재생하게 되었습니다.