임펄스 응답은 실제 공간을 초현실적으로 재구현하는 것으로 유명합니다. 최고 품질의 임펄스 응답을 녹음하는 것은 다소 기술적이며 고급 장비가 필요한 일입니다. 공간적인 품질을 갖춘 실외 임펄스 응답을 생성하는 것 또한 어려운 일이죠. 하지만 음향적으로 현실적이고 몰입적인 방식으로 실외 공간에 사운드 이미터를 배치하는 것이 아주 힘든 과제라는 사실은 사운드 디자이너라면 모두 알고 있을 겁니다.
임펄스 응답이란 무엇인가요?
간단히 말해 임펄스 응답은 자연적인 리버브를 대체하기 위해 사용됩니다. 더 기술적으로 말하면 임펄스 응답은 시스템이나 공간이 아주 짧은 소리나 디랙 스파이크(dirac spike)에 반응하는 방식을 측정한 것으로, 공간의 음향적 특성을 재구현하기 위해 컨볼루션 리버브 플러그인에서 사용할 수 있는 직접적인 임펄스입니다.
컴퓨터 계산의 힘을 조금 더 빌려 실제 임펄스 응답을 만들 수 있는 두 가지 다른 기술이 있습니다. 바로 소음 시퀀스를 녹음하는 것이죠. 아마 주어진 공간에서 스피커를 최적화하거나 소위 플레이어(Microsoft Kinect)가 음원의 위치를 파악할 때 특정 장치(예: 전문 스튜디오 장비, 소비자용 하이파이 혹은 게임 콘솔)가 그 공간을 측정한단느 것을 들어본 적이 있을 겁니다.
또 다른 기술은, 아마 전문적인 음악 및 사운드 환경에서 가장 잘 알려진 방법으로, 시간에 따라 모든 주파수를 고르게 포함하는 스윕(sweep) 소리를 녹음하는 것입니다.
사용하기에 가장 쉬운 방법은 임펄스를 녹음하는 것이죠. 왜냐하면 임펄스를 녹음한 결과가 곧 임펄스 응답인 것이고, 이것을 바로 사용할 수 있으니까요. 다른 두 가지 방법은 임펄스 응답을 얻기 위해 엔지니어링이 어느 정도 필요합니다.
장점은 무엇인가요? 단점은요?
임펄스 응답은 실제 공간을 반영합니다 (재생 및 녹음 장치와 같이 사용된 장비에 의한 측정 오류나 컬러링을 제외하고 말이죠). 이 응답은 카메라로 찍은 사진과 같이 굉장히 현실적입니다.
이것이 바로 단점입니다. 3D 오브젝트가 사진 같이 현실적이거나 멋지고 화려하지 않을 수 있으니까요. 하지만 여러분이 원하는대로 임펄스 응답을 늘이고, 음색을 바꾸거나, 일부를 바꿀 수도 있습니다. 임펄스 응답은 한정적입니다. 물론 음색을 바꾸거나(EQ 적용) 다이내믹을 바꾸는 것은 물론 시간을 늘리고 피치를 변경하는 등 몇 가지 작업을 할 수 있습니다. 하지만 알고리즘식 리버브는 그 보다도 더 많은 작업을 할 수 있죠. 현실이라고 믿을 만큼 현실적이지는 못하지만요. 결국 알고리즘식 리버브와 임펄스 응답 사이에서 여러분이 전하고자 하는 이야기, 플레이어를 가상의 세계로 이끌고자 하는 방식, 그리고 게임의 스타일과 제작에 있어 타당성/현실성과 유연성/창의성 중 어느 것이 더 중요한 것인지에 따라 선택해야 합니다.
훌륭한 실외 공간
보통 게임에서는 스튜디오에서 녹음하거나 녹음 후 다른 위치에 배치할 수 있도록 상대적으로 일반적인 공간적 정보를 가진 사운드로 작업하는 게 일반적입니다. 모든 사운드를 각 위치(혹은 비슷한 환경)에 직접 가서 녹음하기에는 게임에서 제공하는 공간이 너무 많은 경우가 있죠. 그럴 경우 해당 장면에 있는 장소의 자연적인 사운드 에코를 모방하는 리버브를 적용해야 합니다. 리버브가 올바르지 않으면 스튜디오에서 녹음되었거나 현재 플레이어가 있는 장면과 같은 위치가 아니라는 것이 너무나 분명히 들리게 됩니다.
보통 올바른 리버브 재현 작업은 임펄스 응답을 제작하여 수행됩니다. 필요한 위치로 가서 아주 큰 사운드(임펄스, 소음, 스위핑)를 내고 그 효과(응답)를 녹음하죠. 그리고 이 임펄스 응답을 컨볼루션 리버브 플러그인에 넣어서 오디오 신호로 중첩합니다. 빙고! 이렇게 하면 이제 사운드가 마치 그 곳에서 녹음된 것처럼 들리게 됩니다 (말로는 참 쉽죠).
장소에 따라 이 작업은 굉장히 어렵거나 심지어 불가능할 수도 있습니다. 장소가 너무 큰 경우 적당한 신호-소음 비율을 얻으려면 터무니없이 큰 사운드가 필요하겠죠. 공공 장소인 광장과 같이 붐비는 장소의 경우에는 방해가 너무 많을 것입니다. 접근하기 어려운 지역이라면 모든 장비를 그곳에 사용하지 못할 수도 있죠. 또, 제한된 구역이라면 오디오 녹음 허가를 못 받을 수도 있습니다. 'Fields and Spaces - Outdoor Impulse Response(장소 및 공간 - 실외 임펄스 응답)' 라이브러리의 경우 저희는 이러한 장소를 재현하고 공간적 정보를 담아내며, 아주 높은 다이내믹을 위해 배경 잡음이 거의 없이 최대 3차순 앰비소닉까지 제공하는 방법을 알아냈습니다.
공간성
임펄스 응답을 모노로 녹음하는 것은 간단합니다. 음원(스피커)과 수신기(마이크)가 필요하죠. 이 둘을 공간 안의 적절한 곳에 배치하고 임펄스를 캡처합니다.
스테레오로 녹음하는 것도 거의 같습니다. 스피커를 공간 안에 배치하고, 이번에는 원하는 스테레오 구성으로 두 개의 마이크를 사용하여 캡처하죠. 그럼 완성입니다.
서라운드의 경우 갑자기 흥미로운 예술적 질문이 생겨나게 됩니다. 사운드를 서라운드 음장 안에 넣어 서라운드 이미지에 사운드가 골고루 확산된 것을 캡처할까요? 아니면 음원을 그 밖에 배치해서 지향성뿐만 아니라 마이크 캡슐(혹은 나중에 재생 스피커) 간의 시간 딜레이를 통해 방향성을 담아낼까요?
앰비소닉의 경우 이 질문은 상당히 무의미한 질문입니다. 왜냐하면 앰비소닉 마이크는 일정하기 때문에 캡슐이 정확히 같은 위치에 있어서 (물론 이론적으로) 그 구성 '안'에 아무 것도 배치할 수가 없기 때문이죠. 그렇기 때문에 음원이 당연히 그 밖에 있게 됩니다.
공간성에 대한 열린 질문
여기서 질문이 더 어려워집니다. '트루 스테레오'라는 것이 있습니다. 공간 안에서 두 마이크(스테레오 구성)로 한 음원을 녹음하지 않는다는 것을 말하죠. 공간 안에 음원을 여러 위치에 배치하면 같은 마이크 위치에서의 리버브가 달라집니다. 음원을 좀 더 왼쪽에 배치하면 갑자기 왼쪽에 있는 가상의 벽에서의 리플렉션이 오른쪽 벽에 있는 리플렉션보다 더 빨리 마이크에 도달하게 됩니다 (변경된 수많은 에코도 마찬가지입니다). 또한 직접 신호도 달라집니다. 사용하는 스테레오 구성에 따라 더 분명할 수도 있고 아닐 수도 있죠. 트루 스테레오를 사용하면 현실에 조금 더 가까워집니다. 한 음원 지점이 아니라 두 지점을 녹음하게 됩니다. 콘서트 홀에 있는 오케스트라를 상상해 보세요. 가장 오른쪽에 있는 베이스의 리버브 배치를 가장 왼쪽에 있는 바이올린과 다르게 배치할 수 있게 됩니다. 그리고 가장 왼쪽과 가장 오른쪽 중간에 있는 모든 것에 대해 두 스테레오 IR의 믹스를 제작할 수 있습니다.
물론 현실에서 리버브가 이렇게 작동하는 것은 아니지만 트루 스테레오는 사람이 들었을 때 훨씬 더 현실에 가깝고 멋지며 더 '이해하기 쉬운' 스테레오 이미지를 제공해줍니다. 여기서 단점은 재생 동안 계산이 두 배로 필요하기 때문에 재생하는 데 CPU가 두 배나 더 소비됩니다. 사실 재생 중 두 개의 다른 스테레오 임펄스 응답을 사용하여 리버브 채널이 4개가 되죠.
서라운드: 어휴, 말도 마세요. '오케스트라' 상황을 생각하면 괜찮을 것 같습니다. 앞쪽 영역의 두 지점을 캡처해서 서라운드에서 트루 스테레오를 사용할 수 있죠. 하지만 이 상황에서만 그렇습니다. 만약 리스너 바로 앞이나 양쪽 후방면에 있는 효과음의 경우 더 복잡해지죠. 트루 스테레오와 비슷한 결과를 얻으려면 5.1 시스템(소규모 구성)에 있는 각 스피커에 대한 전용 임펄스 반응을 녹음해야 합니다. LFE와 중앙 채널을 제외하고 전면과 후면 스피커만 생각해봅시다. 4채널 서라운드 리버브 대신 4 x 4 = 16개의 리버브 채널이 생겨서 CPU 소비량이 거대해지죠.
앰비소닉: 캡슐마다 한 IR을 만들어야 할 수 있습니다. 하지만 녹음하는 음원 위치가 더 많을수록 공간적 해상도도 높아지죠. 그리고 트루 스테레오 vs. 스테레오에 반하는 360°를 캡처하려면 적어도 정육면체의 모든 모서리가 필요합니다. 그럼 상황은 더욱 안 복잡해지죠. 이제 4 트랙 (1차 앰비소닉) x 8 음원 위치 = 32개의 리버브 채널이 생기니까요. 게임에서 리버브를 주요 기능으로서 사용하는 게 아니라면 런타임 때 소비량이 지나치게 많아질 겁니다. 게다가 이건 1차 앰비소닉에 불과한 얘기죠. 보다 높은 차순, 예를 들어 3차 앰비소닉을 생각해봅시다. 채널이 128개가 필요하며 8개의 음원 위치'만' 사용할 경우 3차 앰비소닉에서는 정보가 없는 빈 공간이 많이 생기게 됩니다.
해결책
이렇게 보면 게임에 사용하기엔 IR이 너무 버겁고 복잡한 기능 같습니다. 하지만 공간적 리버브에 대한 전체적인 주제는 임펄스 반응에 한정되지 않습니다. 공간적 알고리즘식 리버브에도 같은 원리가 적용되죠.
그럼 어떻게 할까요? 먼저, '진정한 스테레오 원리'가 곧 서라운드라고 해석해야 할 필요는 없습니다. 3D 환경에서 리버브를 배치하고 사용할 적절할 장소를 찾기 위해 더 생각하고 염두에 두어야 할 문제인 것이죠. 둘째로, 리버브에서 장소를 더 잘 표현하는 부분이 있고, 음원의 위치를 더 잘 표현하는 부분이 있습니다. 바로 리버브의 꼬리 vs. 초기 리플렉션이죠.
Audiokinetic의 임펄스 응답 플러그인 'Rooms and Spaces'와 이제 그 실외 버전인 'Fields and Spaces'에서 저희는 리버브 꼬리를 캡처하고 임펄스 응답을 분산시키는 데에 집중했으며 초기 리플렉션을 피하려고 했습니다. 초기 리플렉션은 에코의 양이 훨씬 적고 시간이 더 짧기 때문에 계산하기가 보다 쉽습니다. 예를 들어 Audiokinetic의 Reflect 플러그인을 사용하면 게임에 있는 실제 3D 오브젝트와 사운드 장애물에 따라 초기 리플렉션을 만들 수 있습니다. 리버브 꼬리에는 임펄스 리버브를 추가하면 몰입적이고 깊은 유연성있는 리버브를 제작해서 심지어 런타임 때 움직이는 음원도 훌륭하게 배치할 수 있습니다.
댓글