SpectralMultiEffect는 Wwise용 플러그인입니다. 이 플러그인은 게임에서 상호작용성을 향상시키기 위해 제작되었으며 사운드 디자이너가 실험해보고 오디오를 변화시킬 수 있는 풍부한 자료를 제공합니다. 오디오 신호를 변경하기 위한 다양한 효과와, 오디오 데이터 자체로부터 정보에 접근하여 게임에서 직접 사용할 수 있도록 해주는 시스템이라는 두 가지 주요 기능이 제공됩니다.

SpectralMultiEffect는 주파수 스펙트럼에 적용되는 처리를 통해 신호를 다양한 방법으로 변형할 수 있게 해줍니다. 최대 3가지 효과를 연속으로 사용할 수 있으며, 제공되는 모든 매개 변수는 Wwise RTPC 기능을 통해 런타임 때 제어할 수 있습니다. 이에 따라 런타임 때 효과를 켜고, 끄고, 변경할 수 있습니다. 

사운드 디자이너들이 사운드 콘텐츠와 게임 간의 상호작용성을 향상시키기 위한 방법을 찾는 데 흥미가 있다는 사실을 알게 되었습니다. 저는 이 플러그인 프로젝트를 통해 오디오 신호로부터 가져온 데이터를 사용하여 게임 작동 방식의 부분들을 변경하거나 제어할 수 있는 능력을 제공해드리고 싶었습니다. 재생 동안 신호로부터 가져온 시간이나 주파수 영역 데이터는 원하는 용도로 애플리케이션에서 사용할 수 있습니다. 이 기능은 게임과 오디오 콘텐츠를 밀접하게 연결하는 데에 유용합니다.

개발자들이 실시간으로 여러 형식의 오디오로부터 데이터를 가져올 수 있는 여러 가지 콜백이 제공됩니다. 또한 플러그인을 채널이나 사운드에 직접 연결할 수 있기 때문에 각각 자체적인 콜백이 있는 개별적인 플러그인 인스턴스를 통해 여러 데이터 스트림을 구성할 수도 있습니다.

게임용 오디오 플러그인은 종종 특정 문제나 흔히 발생하는 기술적인 문제를 해결하기 위해 제작되지만 SpectralMultiEffect는 창의적인 도구라고 생각하시면 될 것 같습니다. 이 플러그인을 통해 오디오 작업 접근 방식을 탐험해보면서 흥미로운 사운드를 찾고 매력적인 상호작용 게임 경험을 만드는 데 도움이 되기를 바랍니다.

이 플러그인에서는 다음의 기능이 제공됩니다.

1. 피치 변경, 멀티 밴드 딜레이, 스펙트럼 프리징 등 주파수 영역에 적용할 수 있는 11개의 효과.

2. 애플리케이션으로 전송하기 위해 시간이나 주파수 영역 신호 데이터에서 정보를 가져와서 오디오를 다른 게임 구성 요소와 동기화할 수 있게 해주는 기능.

3. Wwise Authoring Tool(와이즈 저작 도구)에서 애플리케이션을 모니터링하면서 오디오를 시각적으로 확인할 수 있게 해주는 기능.

4. 가능한 사운드 변형을 보여주는 프리셋. 자신만의 변형을 만들기 위한 시작점으로 사용하실 수 있습니다.

SpectralMultiEffect 사용하기

오디오 효과

효과를 연속으로 적용할 수 있는 세 개의 입력란이 제공됩니다. 플러그인을 작동하는 도중 언제든지 효과를 선택/전환하거나 켜고 끌 수 있습니다. 뿐만 아니라 사운드의 지속 시간에 영향을 주지 않고 -/+ 3 옥타브 범위로 피치를 변경할 수 있습니다.

Wwise Authoring Tool의 효과 선택 영역

플러그인이 활성화되었을 경우 들어오는 오디오 데이터는 주파수 영역으로 변환됩니다. 재생을 위해 다시 시간 영역으로 변환되기 전에 이 시점에서 효과 처리가 실행됩니다.

사용할 효과를 선택하고 나면 RTPC 시스템을 사용하여 효과의 매개 변수를 제어할 수 있습니다. 수많은 매개 변수가 제공되지만 활성화한 효과와 관련된 매개 변수만 제어하시면 됩니다.

플러그인 콜백을 통해 오디오 신호 데이터 가져오기.

오디오 신호로부터 데이터를 준비하고 가져올 수 있도록 사용자 정의 콜백이 제공됩니다.

시간 영역에서는 피크나 RMS, 주파수 영역에서는 주파수 빈(bin)이나 주파수 영역이 옵션으로 제공됩니다. 효과 처리를 적용하기 전이나 후에 데이터를 사용자에게 전송할 수 있습니다.

오디오 신호로부터 애플리케이션으로 데이터를 가져오는 방법

1. Wwise 프로젝트에서 효과의 인스턴스를 만들고 런타임 때 구별할 수 있는 고유한 이름 태그를 지정합니다.

플러그인 인스턴스를 구별하기 위한 태그 추가하기

ZcSpectralMultiEffectFXCallback.h에서의 콜백 선언

2. Initialization(초기화), Termination(제거), Execute(실행) 콜백을 구현합니다. 이 콜백은 ZcSpectralMultiEffectFXCallback.h 파일에서 선언됩니다. (이 파일은 플러그인 설치 도중 Wwise include 폴더에 복사되기 때문에 소스 코드에서 사용할 수 있도록 #include 지시문만 추가하면 됩니다.)

Initialization 콜백은 선호하는 데이터 형식을 구성하는 데에 사용됩니다. ZcSpectralMultiEffectDataFormat 구조로 전달된 내용을 채움으로써 실행됩니다. 

재생 도중 Execute 콜백은 요청된 형식의 데이터를 신호로부터 데이터로 제공합니다. 또한 플러그인으로 여러 인스턴스를 쉽게 관리하기 위해 사용자가 설정한 구별 태그도 수신됩니다.

Termination 콜백은 특정 플러그인 인스턴스의 작동이 종료된다는 것을 알려줍니다. 초기화 도중 실행된 동작에 대응하는 정리/마무리 동작을 여기에서 실행할 수 있습니다.

저작 도구 모니터링

Wwise Authoring Tool에서 애플리케이션을 모니터링할 때 플러그인의 Effect Editor 창에서 신호 데이터를 시각적으로 확인할 수 있습니다. 아래 스크린에 보이는 것처럼 시간이나 주파수 영역 데이터로 확인할 수 있습니다.

프리셋

Authoring Tool의 Effect Editor 창에서 오른쪽 아래 있는 드롭 다운 메뉴에서 선택할 수 있는 몇 가지 프리셋이 제공됩니다. 이 프리셋은 흥미로운 설정 예시를 보여줍니다. 다른 플러그인에서와 마찬가지로 이를 기반으로 프리셋을 생성하거나 직접 만들어서 사용할 수 있습니다.

지원되는 플래폼

SpectralMultiEffect는 먼저 모바일(Android / iOS)과 데스크탑(Mac / Windows) 플랫폼에서 지원되고 있습니다. 하지만 게임 콘솔을 포함한 다른 플랫폼으로의 지원 확장을 고려하는 중입니다. 여러분의 프로젝트 플랫폼에서 SpectralMultiEffect를 사용하고 싶으시다면 웹사이트를 통해 연락해주세요. 사용자의 흥미도에 따라 지원할 플랫폼 추가를 고려해보겠습니다.

오디오 샘플

다음은 SpectralMultiEffect를 사용한 오디오 처리를 보여주는 세 가지 샘플 세트입니다.

음성 파일

이 파일은 먼저 처리되지 않은 음성으로 시작됩니다. SpectralMultiEffect에 있는 여러 효과 조합을 사용하여 점점 오디오가 변형되는 것을 들어보세요.

피아노 사운드 파일

첫 번째 오디오 샘플은 처리되지 않은 원본입니다. 다음 각 샘플은 SpectralMultiEffect를 사용하여 여러 가지 방법으로 처리한 것입니다.

징 사운드 파일

첫 번째 오디오 샘플은 처리되지 않은 원본입니다. 다음 각 샘플은 SpectralMultiEffect를 사용하여 여러 가지 방법으로 처리한 것입니다.