본 백서에서는, 자동차 HMI(Human-Machine Interface)를 향상시키고 전반적인 사용자 환경을 개선하기 위해 소리가 혁신적인 방법으로 사용되는 고급 사용 사례를 개발하기 위해, 업계 및 학술 연구자 모두가 개척한 다양한 노력의 개요를 제공하는 것을 목표로 합니다. 또한 내비게이션 또는 ADAS(첨단 운전자 지원 시스템)와 같은 온보드 시스템에서 음향 신호로 데이터를 변환하여 복잡한 주행 상황에서 보다 안전한 주행 환경을 구현하는 방법에 대해서도 논의합니다.
청각 디스플레이를 구체적으로 실현하기 위해 사용되는 다양한 기술적 요소와 인포테인먼트 HMI, 안전 및 지침과 같은 몇 가지 응용 영역이 리뷰될 것입니다. 마지막으로, 사용 사례를 자동차 시스템 소프트웨어 스택에 통합하기 위한 고급 소프트웨어 요구 사항이 발췌될 것입니다.
배경: 자동차 맥락에서의 청각 디스플레이
청각 디스플레이 주제에 뛰어들기 전에, 몇 가지 기본 용어를 설정해야 합니다. 소닉화(sonification)라는 용어는 정보를 제공하기 위해 음향 신호에서 데이터를 변환하는 데 사용되는 프로세스(알고리즘 또는 기술)를 말합니다. 청각 디스플레이는 소음을 사용하지만 사용자, 오디오 인터페이스(확성기 또는 헤드폰 등), 상황 맥락(배경 소음, 사용자 작업 등)를 포함한 광범위한 맥락을 고려하는 시스템입니다.
자동차 맥락에서, 이는 임베디드 시스템의 실시간 정보가 직접 소리를 발생시키거나 다른 오디오 스트림의 렌더링에 영향을 미쳐서 사용자에게 실시간 데이터의 원하는 측면을 나타내는 동적으로 다양한 정보를 제공한다는 것을 의미합니다. 이러한 음향 피드백을 바탕으로 사용자는 반응하고 적절한 조치를 취하거나 행동을 변경하여 차량 시스템으로부터 수신된 데이터에 영향을 미쳐 피드백 루프를 형성할 수 있습니다. 예를 들어, 사용자가 더 나은 운전 습관을 갖도록 안내하는 데 사용할 수 있습니다.
자동차 인적-기계 인터페이스의 진화
자동차 시장이 커넥티드 및 소프트웨어 정의 자동차로 이동함에 따라, 이러한 자동차가 더 이상 고립된 거품이 아니라는 것이 분명해졌습니다. SMS, 이메일, 소셜 네트워크, 날씨 및 교통 정보를 지속적으로 이용할 수 있고, 멀티미디어 및 내비게이션과 ADAS 시스템을 결합한 온보드 시스템과 애플리케이션이 증가함에 따라, 이제 다양한 기능들이 운전자의 주의를 끌기 위해 투쟁하고 있습니다.
불행히도, 이러한 시스템의 대부분은 안전하지 않은 방식으로 운전자의 인지 부하를 크게 증가시킬 수 있는 시각적 주의를 필요로 합니다. 실제로, 연구에 따르면 78%의 충돌과 65%의 근접 충돌의 주요 원인은 시각적 무관심이라고 합니다(NHTSA, 2007).
그렇다면 시각적 과부하 상황을 해결하기 위해 무엇을 할 수 있을까요? 답은 일부 작업을 인지 대역폭이 가능한 다른 감각에 맡기는 것입니다. 청각 채널은 1차 작업을 방해하지 않고 진행 중인 2차 프로세스에 대해 사용자에게 알리는 효과적인 양식입니다(Belz, 1999).
"각각 우리의 감각은 정보를 수신하고 처리하는 "채널"이라고 생각할 수 있습니다. 각 채널은 한 번에 통과할 수 있는 정보의 양 측면에서 용량이 제한됩니다." (Auditory Display Wiki)
청각 시스템의 이해
청각 표시장치를 적절히 설계하기 위해서는 먼저 청각 시스템의 장단점을 이해해야 합니다.
강점
시력에 비해 청각 시스템은 항상 활동적이며(수면 중 포함) 특정한 전제조건(시각 감각을 위한 조명 등)을 요구하지 않습니다. 청각적 지각의 또 다른 장점은 시각적 지각과 달리 특정 사용자의 신체적 방향 또는 시각적 주의 초점에 대한 요구 사항이 없다는 것입니다.
청각은 위치 측정 정확도가 상당히 뛰어나 모든 방향에서 오는 소리를 감지할 수 있는 주변 감각입니다. 아마도 진화 과정의 흔적으로, 소리는 우리의 관심을 끄는 데 매우 효과적입니다. 왜냐하면 인간은 잠재적인 위협을 감지하기 위해 청력을 항상 사용했기 때문입니다. 게다가, 우리의 청각 시스템은 자연적으로 중요하지 않은 소리를 걸러낼 수 있고, 심지어 시끄럽거나 소리가 가득한 배경에서도 특정한 소리를 찾아내고 들을 수 있게 해줍니다. 또한 소리의 자연 경보 속성은 복잡한 비주얼 디스플레이의 주요 영역에 주의를 집중하는 것과 같은 멀티 모달 디스플레이의 오디오 응용 프로그램을 제안합니다(Eldridge, 2005).
청각 감각은 다른 감각들(예를 들어 냄새 또는 맛) 과는 달리 시간의 제약을 매우 받습니다. 자극이 사라지면 소리와 관련된 감각은 즉시 사라집니다. 이것은 피로가 심하지 않으며, 소리의 다차원적 특성(피치, 라우드니스, 공간 위치, 음색 등)으로 인해 여러 층의 정보를 쉽게 오버레이 할 수 있습니다.
약점
다른 감각들과 마찬가지로 청각도 정보 채널로 사용될 때 몇 가지 단점이 있습니다. 이러한 한계를 이해하는 것은 청각 디스플레이를 설계할 때 위험을 피하는 데 중요합니다.
소리가 이해되려면 먼저 소리가 들려야 합니다. 환경이나 동시 음성 통신에서 발생하는 방해 소리는 원하는 음향 메시지를 효과적으로 가릴 수 있습니다. 따라서 좋은 디자인 관행은 주파수, 위치, 품질 등 함께 사용할 수 있는 소리를 분리하여 마스킹 되는 효과 없이 동화되어 적절히 분리할 수 있도록 하는 것을 제안합니다.
우리는 수천 개의 다른 실제 소리를 구별할 수 있지만, 인간의 기억력은 추상적인 소리에 제한되어 있습니다. 따라서 주어진 각 맥락에서 사용할 수 있는 소리의 수를 일반적으로 5에서 8개로 제한하는 것이 좋습니다(Jordan, 2009).
우리의 청력을 쉽게 차단할 수 없다는 사실의 결과로, 시각에서 눈을 감거나 다른 곳을 보는 것으로, 성가신 소리는 종종 사용되는 소리에 문제가 될 수 있습니다. 따라서 좋은 디자인은 경고와 같은 소리 메시지의 기능적 목표를 유지하면서 동시에 짜증이 나는 소리를 만들지 않도록 방지하는 것이 중요합니다.
모달리티 선택 및 조합
다양한 다른 연구에 의해 요약된 한 가지 사실은 서로 다른 모달리티가 실제로 상호 보완적이라는 것입니다. 많은 경우, 다양한 모달리티에 걸쳐 메시지(특히 경고)를 강화하면(예: 시각, 소리 및 촉각) 사용자에게 정확하고 빠르게 이해할 수 있는, 보다 응집력 있는 메시지를 제공할 수 있습니다.
단일 모달리티의 경우, 각 모달리티를 사용하는 작업이나 목적을 아는 것이 중요합니다 [ref Sanders 1993]. 청각적 모달리티는 사용자의 즉각적인 주의가 필요한 이벤트(예: 경보)에 좋습니다. 왜냐하면 음향 설계에 긴박감을 포함시키는 것은 매우 쉽기 때문입니다. 청각 표시장치는 시간 의존적인 정보를 참조하는 간단하고 짧은 메시지에 초점을 맞추어야 합니다.
소닉화 기법
일반적으로 사용되는 소리
청각 디스플레이에서 흔히 접하는 소리는 몇 가지 카테고리로 분류될 수 있습니다.
첫 번째 유형의 소리는 청각 아이콘이라고 불립니다. 이러한 소리는 참조 물리적 물체와 명확하고 잘 알려진 연관성을 가지고 있습니다. (더 이상 물리적인 셔터가 없어도) 사진을 찍을 때 거의 모든 스마트폰에 사용되는 셔터 사운드는 청각 아이콘의 좋은 예입니다. 이러한 유형의 소리의 장점은 사용자로부터 학습이 필요하지 않다는 것입니다. 그러나 제한된 설계 유연성(객체 연결은 보존되어야 하기 때문에)과 그러한 참조가 항상 존재하지 않을 수 있다는 사실은 청각 아이콘을 사용할 때의 단점입니다(Stevens & Keller, 2004).
청각 디스플레이에서 일반적으로 사용되는 두 번째 소리 범주는 이어콘(시각적 아이콘과 동등한 청각)이라고 불립니다. 이러한 추상적(보통 합성 사운드) 사운드는 각 애플리케이션에 맞게 특별히 설계되어 단순에서 복잡까지 반복적인 멜로디와 리듬을 사용할 수 있습니다. 이 범주의 예로는 터치스크린 상호 작용(예: 홈, 뒤로 가기, 선택, 수락 및 취소), 음성 인식(예: 듣기/끄기) 등과 같은 모든 HMI 피드백 사운드가 포함됩니다(Blattner, Greenberg, & Sumikawa, 1989).
또 다른 중요한 사운드 범주에는 예를 들어 내비게이션의 경우 또는 보다 복잡한 형태의 사용자 지침이 필요할 때 사용되는 모든 음성 피드백(일반적으로 텍스트에서 음성 기술을 통해 수행됨)이 포함됩니다. 기타 여러 소리 범주는 현장 전문가에 의해 공식화되었지만, 위에 언급된 소리 범주는 자동차 맥락에서 들리는 대부분의 소리에 포함됩니다.
공간 청각 디스플레이
인간은 소리 위치를 정확하게 인지할 수 있으며, 청각 디스플레이가 3차원 소리 위치결정 알고리즘을 사용하여 공간적 차원을 통해 추가 정보를 전달할 수 있습니다. 예를 들어, 충돌 방지를 위해 ADAS 시스템에서 차량 외부의 위험 위치를 신속하게 배치하는 데 음향 위치 측정 신호를 사용할 수 있습니다. 또한 차량 내 여러 시스템에서 나오는 사운드 피드백을 배치하여 사용자가 어떤 시스템(예: 클러스터 계기판 대 헤드 유닛)과 상호 작용하는지 더 잘 식별할 수 있도록 공간적 사운드 특성을 사용할 수 있습니다.
경보음의 경우 공간 차원을 사용하면 위치 측정 정보를 제공할 뿐만 아니라 다른 소리와의 구별도 쉬워지며 신호의 맥락 내에서 타당하게 이해되는 위치에서 소리가 재생될 때 더욱 주의를 끌 수 있습니다(Jacko, 2012)
자동차 응용 프로그램의 예
HMI오디오 피드백
배경에서 인식되는 몰입적인 현상으로서의 사운드는 다양한 서브시스템을 통합하여 보다 응집력 있는 HMI 인터페이스를 제공하는 데 좋습니다. 보통 정도의 심미적인 거슬리지 않는 사운드 피드백을 다양한 애플리케이션에 대해서 단순히 추가하기만 하면, 보다 전체적인 휴먼-머신 인터페이스 사용자 경험을 얻을 수 있습니다.
청각적 지침의 예
내비게이션 시스템은 종종 텍스트 음성 변환 기술을 사용하여 운전자에게 턴 바이 턴 바이 턴 안내 지침을 제공합니다. 음성 사용은 이와 같이 복잡한 지침에 이상적으로 적합하며, 패닝은 정보 인지 능력을 향상시키기 위해 제공된 지침과 일치해야 합니다(예: 왼쪽에서 "좌회전"하는 소리). 효과적인 청각 디스플레이는 추가적인 소리를 사용하여 운전자와의 중요한 상호 작용을 향상시키기 위해 개발될 수 있습니다. 예를 들어, 어떤 동작의 남은 시간에 대한 지속적인 피드백을 제공하고 정확한 위치 측정 신호를 활용하면 방향 정보를 보다 명확하게 파악할 수 있습니다. 이 증강된 청각적 안내를 통해 운전자가 내비게이션 시스템을 쳐다보지 않아도 되는 음향 피드백을 제공하여 어디에서 회전해야 하는지 정확하게 판단할 수 있습니다. 이 기능은 출구가 촘촘히 간격을 두고 있거나 복잡한 회전교차가 있는 상황에서 특히 유용하며, 내비게이션 작업을 실제로 단순화하여 안전을 크게 향상시킬 수 있습니다.
마찬가지로, 차선 안내 정보 및 교통 알림에도 특별히 설계된 음향 신호를 제공할 수 있습니다. 이 신호는 운전자들이 항상 도로를 주시할 수 있도록 지나치게 방해되는 것을 방지하고 엔터테인먼트 콘텐츠와 잘 혼합되도록 설계되었습니다.
엔터테인먼트 프로세싱
개발된 한 가지 흥미로운 개념은 사운드를 추가하는 대신 사용자가 이러한 시스템을 쉽게 수용하도록 하기 위해 방해받지 않고 직관적으로 정보를 인식할 수 있는 방식으로 기존의 엔터테인먼트 콘텐츠를 수정할 수 있다는 점입니다(Hammerschmidt, 2016). 예를 들어, 엔터테인먼트 콘텐츠의 앞뒤 패닝 기능을 사용하여 운전자가 제한 속도를 초과할 때 이를 알림으로써 점차적으로 사용자에게 안전한 운전 습관을 안내할 수 있습니다. 예를 들어 고주파수를 제거하여 엔터테인먼트 신호의 오디오 품질이 약간 저하된 경우에도 신호를 보낼 수 있습니다. 예를 들어, 운전자에게 에너지 효율 정보를 알리는 것과 같은 유사한 개념을 운전 퍼포먼스 향상에도 사용할 수 있습니다.
능동 안전 응용 프로그램
청각 경고는 시각적 경고보다 더 효과적으로 주의를 사로잡고 방향을 잡을 수 있기 때문에, 사용자 지침 애플리케이션 외에도 고급 운전자 지원 시스템(ADAS)과 같은 다양한 능동적 안전 시스템에서 청각 디스플레이 장치는 중요한 역할을 합니다(Ho & Spence, 2005).
충돌 방지장치 반응시간
다양한 청각 디스플레이 신호를 사용할 때 반응 시간(안전을 위한 핵심 측정 기준)의 개선을 조사하기 위해 많은 연구가 수행되었습니다. 전반적인 결론은 소리를 전혀 사용하지 않을 때보다 운전자의 반응이 일반적으로 100~200밀리초 더 빠르다는 것을 보여줍니다. 충돌 경고의 경우, 음성 대신 톤을 사용하는 것이 좋습니다. 왜냐하면 음성은 통합하는 데 시간이 더 오래 걸리기 때문입니다.
ADAS 충돌 방지 예제
사각지대 경고 시스템의 경우, 표시등 방향 지시등을 오버레이 하는 청각 디스플레이는 추월 차선(사각지대 내)에 차량의 존재를 음향적으로 알리는 것에 매우 효과적일 수 있습니다. 공간 위치는 차선 이탈 경고 및 주차 거리 제어(또는 서라운드 뷰 애플리케이션)와 같은 시스템에서도 사용할 수 있습니다.
엔진 사운드 생성
오랜 시간 동안, 열 엔진은 자연스럽게 우리가 의지하게 된 일종의 암묵적인 청각 피드백의 형태를 제공해 왔습니다. 우리가 보행자로써 다가오는 차량을 식별하거나 운전자로써 차량의 속도와 가속도에 대한 인상을 주는 데에 말이죠. 전기 구동 열차의 등장으로 이러한 음향 피드백의 상당 부분이 사라졌습니다. 소음 공해와 승차감 향상의 관점에서 볼 때, 이것은 매우 흥미롭습니다. 하지만 이것은 보행자의 안전과 운전자의 환경 인식에 관한 몇 가지 새로운 도전을 불러옵니다.
안전을 위한 외부 사운드(AVAS)
한 교통안전 기관의 보고서에 따르면 하이브리드 차량과 전기 자동차는 보행자와 관련된 사고를 일으킬 가능성이 37%, 자전거 운전자와 관련된 사고를 일으킬 가능성이 57% 더 높다고 합니다(NHTSA, 2011). 이러한 이유로 전기 차량에 음향 차량 경보 시스템(AVAS)을 포함하기 위한 규정이 이미 여러 곳에 설치되어 있습니다. 외부 확성기가 장착된 이 시스템은 저속으로 외부 소리를 발생시켜 보행자에게 경고를 합니다. 이를 위해 자동차 내장 시스템에서 실시간 정보(속도 등)를 가져와 상호작용 사운드 합성 알고리즘을 구동하여 각 모델에 맞게 맞춤형 사운드 시그니처를 생성합니다.
편안함을 위한 실내 사운드
사운드는 차량에 대한 사용자 인식에 핵심적인 역할을 하기 때문에, 전기차 제조사들도 속도 및 가속도에 대해 기존에 열 엔진이 제공하던 음향 피드백을 대체하는 실내 음향 발생 기술을 포함하기 시작하여, 각 브랜드의 요구 사항에 맞는 사운드 시그니처로 주행 경험을 향상시키고 있습니다.
소프트웨어 요구 사항
자동차 환경에서 청각 디스플레이의 수많은 적용에 대해 논의했습니다. 이러한 적용으로부터 자동차에서 청각 디스플레이를 성공적으로 통합할 수 있는 일련의 공통 기술 요구 사항을 추출할 수 있습니다.
분명히, 사운드 합성 휴리스틱스(루핑, 시퀀싱, 음성 관리 등)와 DSP 알고리즘을 사용하여 복잡한 오디오 그래프를 동적으로 작성하는 기능이 필요합니다. 임베디드 시스템이 제공하는 실시간 정보의 연속 스트림을 오디오 렌더링 엔진에 공급하려면 상호작용 오디오 API가 필요합니다.
제조업체에서 이러한 새로운 오디오 시스템을 경쟁업체와 차별화할 수 있도록 하려면, 오디오 디자이너가 데이터 기반 시스템을 통해 사운드 설계를 엠베디드 시스템 내 엔지니어링 통합에서 완전히 분리할 수 있도록 해야 합니다. 디자인에서 빠른 반복 주기와 자동차의 맥락에서 이러한 시스템을 조정하려면, 워크플로우 효율성을 위해 실시간 편집 기능도 필요합니다.
마지막으로, 이러한 시스템을 프로토타입화하고 시뮬레이션하여 임베디드 플랫폼 외부의 초기 개념 개발을 가능하게 하는 것은 물론, 이러한 개념을 재구상할 필요 없이 프로덕션 플랫폼으로 효과적으로 마이그레이션할 수 있는 기능이 필요합니다.
결론
자동차 맥락에서 청각 디스플레이를 다루는데 필요한 새로운 요구 사항을 해결하기 위해, 자동차 부문은 이전에 다른 산업체들이 이러한 난제를 어떻게 해결했는지 살펴봐야 합니다. 특히, 게임 산업은 15년 이상 상호작용 오디오 분야를 개척해 왔으며 이러한 시스템을 효율적으로 설계하기 위한 소프트웨어 도구와 프로세스를 개발해왔습니다.
참조 문헌
- Auditory Display Wiki. (n.d.). http://wiki.csisdmz.ul.ie/wiki/Auditory_Display.
- Belz. (1999). A New Class of Auditory Warning Signals for Complex Systems: Auditory Icons.
- Blattner, M., Greenberg, R., & Sumikawa, D. (1989). Earcons and Icons: Their Structure and Common Design Principles.
- Eldridge, A. (2005). Issues in Auditory Display.
- Fagerlonn. (2011). Designing Auditory Warning Signals to Improve the Safety of Commercial Vehicles.
- Fung. (2007). The study on the Influence of Audio Warning Systems on Driving Performance Using a Driving Simulator.
- Hammerschmidt. (2016). Slowification: An in-vehicle auditory display providing speed guidance through spatial panning.
- Hermann. (2008). Taxonomy and definitions for sonification and auditory display.
- Hermann. (2011). Sonification Handbook.
- Ho, C., & Spence, C. (2005). Assessing the Effectiveness of Various Auditory Cues in Capturing a Driver's Visual Attention.
- Jacko, J. (2012). Human Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications.
- Jordan. (2009). Design and Assessment of Informative Auditory Warning Signals for ADAS.
- Lundqvist. (2016). 3D Auditory Displays For Driver Assistance Systems.
- Moreno. (2013). The Value of Multimodal Feedback in Automotive User Interfaces.
- Nees. (2011). Auditory Displays for In-Vehicle Technologies.
- NHTSA. (2006). The Impact of Driver Inattention On Near-Crash/Crash Risk.
- NHTSA. (2007). Analyses of Rear-End Crashes and Near-Crashes in the 100-Car Naturalistic Driving Study to Support rear-Signaling Coutermeasure Development.
- NHTSA. (2011). Incidence Rates of Pedestrian And Bicyclist Crashes by Hybrid Electric Passenger Vehicles, .
- Sanders. (1993 ). Human factors in Engineering and Design.
- Stanton. (1999). Human factors in auditory warnings.
- Stevens, P., & Keller, C. (2004). Meaning from environmental sounds: types of signal-referent relations and their effect on recognizing auditory icons.
댓글