오늘 이 글에서는 '위상(phasing)'이라는 흥미로운 음향적인 현상에 대해 알아보겠습니다. 이 현상은 특정 환경에서 음향을 모델링할 때 나타날 수 있죠. Wwise 23.1의 Reflect에서 이 원치 않는 위상 품질을 최소화하는 데 도움을 주기 위해 제공하는 새로운 도구를 소개하기 전에 먼저 위상의 기본적인 물리학을 잠시 살펴봅시다.

위상이란 무엇인가요?

위상은 보통 파이프를 통해 소리를 듣는 것과 같다고 표현됩니다. 혹은 제트기가 머리 위로 지나가는 소리, 스윕 소리, 속이 빈 소리 등으로 표현되기도 하죠. 아래 예시는 원본 드럼 비트 클립(상단)과 위상이 적용된 클립(하단)을 보여줍니다.

위상이 적용된 클립의 소리가 텅 빈 듯하게 들리는 것을 알아차리셨나요? 위상(Phasing)*은 종종 음악에서 창의적인 효과로 사용되지만 효과 자체는 오디오 플러그인이나 페달에만 제한되지 않습니다. 위상은 실제 생활에서도 일어날 수 있어요! 아래 동영상에서는 분수 소리의 위상을 분명히 들을 수 있습니다.

기본적인 위상 물리학

먼저 위상을 이해하기 위해 기본이 되는 파동 간섭에 대해 이야기해봅시다. 두 파동이 만나면 어떤 형태로든 간섭이 발생하죠. 이 간섭은 보강적일 수도 있고(파동의 진폭이 증폭) 상쇄적일 수도 있습니다(진폭이 감소). 간섭의 종류와 크기는 파동의 진폭, 주파수, 위상에 따라 달라집니다.

아래 애니메이션에서는 파란색 파동이 주황색 파동을 만납니다. 주황색 파동이 파란색 파동과 일렬이 되면 보강 간섭이 일어나서 결과적인 파동(빨간색)의 진폭이 증폭됩니다. 주황색 파동이 오른쪽으로 이동하면서 (시간 딜레이/위상 증가) 결과적인 파동의 진폭은 다시 커지기 전에 0이 됩니다.

간단한 파동 간섭 데모

이 간단한 데모는 한 주파수에서의 두 신호가 간섭하는 효과를 보여줍니다. 하지만 실제 세계에서 대부분의 오디오 신호는 복잡하고 다양한 주파수로 구성되어 있기 때문에 신호의 스펙트럼을 살펴보는 것이 유용합니다.

아래 애니메이션은 분수 시나리오를 재현합니다. 소리가 리스너에게 도달하는 데 두 가지 경로가 있습니다. 첫 번째는 직접 경로이며 두 번째 경로는 벽에서 반사됩니다. 우측 상단 그래프는 파동이 혼합된 결과 스펙트럼을 보여주고 우측 하단 그래프는 각 파동의 도착 시간(ToA)을 보여줍니다.

분수의 위상 시뮬레이션

리스너가 벽에 가까워질수록 각 파동의 ToA 간의 차이는 더 작아지며 스펙트럼의 피크와 노치 패턴이 더 두드러집니다. 이 패턴은 서로 다른 주파수 요소의 진폭이 증폭(피크)되거나 감소(노치)될 것임을 말해줍니다. 다시 말해 이 스펙트럼은 각 주파수 요소 경험의 간섭 종류를 알려줍니다. 이 빗살 모양 패턴**을 바로 우리가 위상이라고 인식하게 되죠!

여기서 주목해야 할 것이 몇 가지 있습니다. 첫째, 위상은 음파 간의 ToA 차이가 짧은 경우(20ms 이내) 아주 두드러집니다. 둘째, 여기 제시된 모델은 두 개의 소리 경로만 사용하지만 실제로는 더 많습니다 (무수히 많지만 렌더링할 수 있는 경로는 제한되죠). 각 경로는 서로 다른 ToA를 가지며 다른 경로의 노치와 겹쳐서 서로 상쇄되는 스펙트럼 피크를 가질 수 있습니다. 아래 그래프는 세 개의 다른 ToA를 사용하여 신호를 혼합할 때의 효과를 보여줍니다. 결과적인 스펙트럼이 더 평탄해지는 것을 보세요.

여러 리플렉션의 스펙트럼 결합 효과

여기서 중요한 점은 실제 생활에서 위상이 실제로 발생하지만 효과를 억제하는 수많은 리플렉션의 상호작용으로 인해 드물다는 점입니다. 하지만 음향 모델링 세계에서는 계산 비용을 줄이기 위해 리플렉션의 횟수를 줄여야 하죠. 그렇기 때문에 위상이 발생할 가능성이 더 높습니다.

Reflect로 가져오기

Reflect 플러그인은 리스너에게 환경 내 사운드의 공간감을 제공하는 초기 리플렉션 렌더러입니다. 음파는 원본지로부터 이동하면서 리스너에게 도달하기 전까지 여러 다른 표면으로부터 반사됩니다. 리스너에게 도달하는 처음 몇 가지 리플렉션은 공간에 대한 인식에 큰 영향을 미치며, 바로 이것을 Reflect 플러그인이 렌더링하는 것이죠.

Reflect는 리플렉션과 함께 작동하기 때문에 다음 질문이 생길 수 있습니다. Reflect가 위상 없이 오디오를 렌더링할 수 있다는 의미인가요?  이에 대한 대답은 '네'입니다! 다음 데모는 앞서 보여드린 분수 환경을 Reflect 플러그인을 사용하여 시뮬레이션합니다.

리스너가 벽에 가까워지고 분수대에서 멀어지면서 분수 동영상과 아주 비슷한 뚜렷한 위상 효과를 들을 수 있죠! Reflect가 현실 세계에서 관찰한 내용을 재현할 수 있다는 점은 훌륭하지만 이 효과는 방해가 될 수 있습니다. 다행히 Reflect는 이 위상 효과를 감소하는 데 도움이 되는 도구를 제공합니다.

완화 도구

Wwise 23.1의 Reflect는 위상을 감소하기 위한 두 가지 새로운 도구를 소개합니다.

Clustering (클러스터링)

리플렉션 그룹의 ToA 차이가 20ms 이내일 경우 위상이 발생할 수 있다는 것을 알고 있다면 이 리플렉션을 하나의 효과적인 반사로 '클러스터링(clustering)'할 수 있습니다.

Clustering 개념

위의 그림에는 리스너에게 도달하는 세 개의 리플렉션 경로가 있습니다. 경로 A와 B의 ToA 차이는 20ms 이내입니다 (TOA 차이 = 19 - 18ms = 1ms). 그렇기 때문에 경로 A와 B는 클러스터링되며 직접 경로(주황색)과 '융합'됩니다. 하지만 경로 C는 ToA 차이가 20ms보다 크기 때문에 그대로 유지됩니다.

클러스터링은 Reflect UI의 Direct Sound Max Delay(원본 사운드 최대 딜레이) 속성을 0이 아닌 값으로 설정할 경우 활성화됩니다. 이 속성은 ToA의 차이를 밀리초로 표시합니다. ToA 차이가 이 값 이하일 경우 모든 리플렉션은 클러스터링됩니다.

Direct Sound Max Delay 컨트롤

아래 동영상에서 클러스터링을 확인할 수 있습니다.

클러스터링은 렌더링할 리플렉션이 적기 때문에 계산 부하가 줄어든다는 추가적인 이점이 있는 간단하지만 효과적인 접근 방식입니다. 이 방식의 단점은 리플렉션이 직접 경로로만 클러스터링된다는 것입니다. 다른 ToA 차이를 중심으로 한 리플렉션 그룹을 클러스터링할 수 없죠.

Decorrelation (비상관화)

실제 생활에서 대부분의 표면은 음파를 반사할 뿐만 아니라 산란(scattering)시키기도 합니다. 이전 섹션에서는 ToA가 다른 리플렉션을 혼합할 경우 결과적인 스펙트럼이 더 평탄해지는 것을 봤습니다. 이 산란된 파동을 주요 리플렉션과 결합된 작은 리플렉션으로 생각할 수 있죠.

파동 산란

산란은 필터를 사용하여 모델링되며 비상관화 필터(decorrelation filters)라는 더 큰 필터 제품군의 일부입니다.

비상관화 필터는 Reflect UI의 Decorrelation Strength(비상관화 강도) 속성을 0보다 큰 값으로 설정하여 활성화됩니다. Decorrelation Mode 드롭다운 상자에는 두 개의 비상관화 필터 유형이 있습니다.

Favor Performance(성능 우선)는 음향 산란의 물리적 모델을 기반으로 비상관화 필터를 사용합니다.
이 옵션은 Favor Quality(품질 우선).에 비해 계산 비용은 저렴하지만 단계적인 감소 효과는 떨어집니다. 비상관화의 높은 강도는 스펙트럼의 일부 착색이 일어날 수 있습니다. 즉 일부 주파수 요소의 증가나 감소(위상과 유사)가 나타날 수 있죠.

비상관화 필터 (Favor Performance) 컨트롤

다음 동영상은 Favor Performance를 사용한 비상관화 필터의 효과를 보여줍니다.

Favor Quality(품질 우선)는 알고리즘적인 디자인을 기반으로 하는 비상관화 필터의 또다른 종류입니다. 위상을 줄이면서 스펙트럼 착색 효과를 최소화하는 데 아주 효과적이죠. 하지만 계산 비용은 더 많이 듭니다.

비상관화 필터 (Favor Quality) 컨트롤

다음 동영상은 Favor Quality를 사용한 비상관화 필터의 효과를 보여줍니다.

성능 vs 품질

이전 예시를 보면 Favor Quality는 일반적으로 Favor Performance에 비해 스펙트럼 착색 없이 위상을 줄이는 데 더 효과적이라는 것을 알 수 있습니다. 하지만 CPU 리소스가 희생되죠. Favor Performance는 특히 다른 종류의 사운드가 포함될 경우 더 적은 리소스로 여전히 좋은 결과를 제공할 수 있다는 것을 기억하세요. 아래 예시는 핑크 노이즈 대신 드럼 비트를 음원으로 사용했으며 비상관화 강도가 낮은 값인 15로 설정해서 최소한의 스펙트럼 착색으로 위상을 크게 감소시킵니다.  

여러 다른 사운드로 다른 비상관화 모드를 시험해보세요. 특정 사운드가 특정 비상관화 모드와 더 잘 작동할 수 있답니다.

다음 표는 위상 감소 접근 방식의 장점과 단점을 요약해줍니다.

 

완화 유형	개념	장점	단점
Clustering(클러스터링)	일부 값 내에서 ToA 차이가 있는 모든 리플렉션을 직접 경로에 융합함.	비상관화 필터보다 계산적으로 저렴하고 작동이 간단함.	리플렉션이 클러스터링되며 집적 경로에만 융합됨. 공간 지각이 일부 손실될 수 있음.
Decorrelation(비상관화): Favor Performance(성능 우선)	음향 산란 모델로 설계된 비상관화 필터를 통해 리플렉션의 오디오 신호를 전달함.	Favor Quality 비상관화 필터보다 계산적으로 저렴함 (비상관화가 강해짐에 따라 계싼 비용이 증가함)	위상 감소에는 보다 효과적이지 않고 스펙트럼 착색이 더해질 수 있음.
Decorrelation(비상관화): Favor Quality(품질 우선)	알고리즘적 처리에 의해 설계된 비상관화 필터를 통해 리플렉션의 오디오 신호를 전달함.	스펙트럼 착색이 적고 위상을 감소하는 데 더 효과적임.	Favor Performance 필터보다 계산 비용이 더 큼.

 

Stereo Widening (스테레오 확장)

비상관화 필터는 다른 용도로도 사용할 수 있습니다. 그 중 하나는 Reflect에서 제공하는 기능인 스테레오 이미지 확장입니다. 이를 활성화하려면 Widen Stereo Field(스테레오 음장 확대) 체크 상자를 클릭하고 Distance Spread(거리 확산) 곡선이 주어진 거리에 대해 0이 아닌 값이며 Decorrelation Strength(비상관화 강도)가 0보다 크도록 해주세요. Decorrelation Strength를 증가하면 스테레오 음장이 더 넓어집니다.

Stereo Widening 컨트롤

요약

ToA 차이가 작은 음향 리플렉션이 혼합됨에 따라 결과적인 스펙트럼은 빗살 모양의 패턴을 가질 수 있으며, 이 패턴을 우리가 위상이라고 인지하게 됩니다. Reflect는 초기 리플렉션을 렌더링하기 때문에 특정 상황에서 위상이 일어날 수 있습니다. Wwise 23.1에서 Reflect는 방해가 될 가능성이 큰 이 효과를 감소할 수 있는 몇 가지 도구를 제공합니다.

각주

* 유사한 파동이 간섭 패턴을 생성하는 효과는 음악 제작 세계에서 보통 '플랜징(flanging)'이라고 부르지만 여기서는 '위상(phasing)'과 '플랜징'을 같은 의미로 사용합니다.

**이 빗살 모양 패턴은 아마도 친숙한 용어인 '콤 필터링(comb filtering)'으로 알려져 있습니다.