QNX, 공간적 청각 디스플레이 HMI
반응시간, 오류, 인지부하 줄여 시스템 유용성, 안정성 향상
2014년 01월호 지면기사  / 글│스콧 페녹 (Scott Pennock, spennock@qnx.com) 수석 표준 전문가 QNX 소프트웨어 시스템즈

공간적 청각 디스플레이는 여러 가지 활동 및 지시사항을 특정한 위치와 연관시키는 청각적 단서를 제공함으로써, 운전자가 “직관적으로” 음성 및 지시사항의 출처, 위험의 위치와 그 상대적 궤도를 식별할 수 있게 해준다. 또 애플리케이션 프롬프트에 대한 반응시간과 도로 위의 위험한 장애물과 사건에 대한 반응시간도 단축시킬 수 있다.



차량용 시스템은 운전 중 운전자의 경험과 안전을 향상시키는데 큰 역할을 할 수 있는 반면, 시스템의 과다한 새 기능과 서비스는 운전자의 집중을 방해하고 인지부하를 가중시킴으로써 그 반대의 효과를 야기할 수도 있다.
공간적 청각 디스플레이(Spatial auditory display, 종종 유감스러운의 “SAD”로 불리는)는 더 훌륭하고 안전한 운전 경험을 제공하는데 기여할 수 있다. 그 혜택 중에는 인지부하 감소와 운전자 반응시간 단축이 있다. 공간적 청각 디스플레이는 여러 가지 활동 및 지시사항을 특정한 위치와 연관시키는 청각적 단서를 제공함으로써, 운전자가 “직관적으로” 음성 및 지시사항의 출처, 위험의 위치와 그 상대적 궤도를 식별할 수 있게 해준다. 또한 애플리케이션 프롬프트에 대한 반응시간과 도로 위의 위험한 장애물과 사건에 대한 반응시간도 단축시킬 수 있다.

인지부하

일반적으로 인지부하란 주어진 시간 동안 사람의 뇌가 처리하는 작업량을 말한다. 인지부하는 다른 요소들과 함께 사람의 학습능력, 외부자극에 대한 반응 및 해석, 일반적인 작업을 수행하는 능력에 영향을 미친다. 톤 데용(Ton de Jong)은 “인지부하 이론, 교육연구 및 교수 설계”에서 다음과 같이 저술하고 있다.
‘인지부하 이론의 기본 개념은 현재 수행 중인 기억 내의 인지 용량이 제한돼 있다는 것이다. 그러므로 학습 과제가 너무 많은 용량을 요구할 경우, 학습은 방해를 받는다.’
마찬가지로 운전자의 인지부하는 운전자의 성공적인 작업수행 능력(운전자가 복잡한 교차로에서 코너를 돌아야하는 것과 같은)을 방해할 수 있다. 일차 작업에 관여하는 감각(예, 시각적-공간적: 코너를 돌면서 교통량을 살피는 것)과 다른 감각을 사용하는 작업(예, 구두적-청각적: 라디오를 듣거나 전화 통화를 하는 것)이 일차 작업과 같은 감각을 사용하는 이차 작업(코너를 돌 때 라디오를 조절하거나 안내 표지판을 파악하고 읽는 것)보다 방해를 덜 한다는 증거가 있다. 이러한 관점은 운전 중 운전자가 전화기를 손에 들고 통화하는 것보다 핸즈프리 통화를 하는 것이 더 안전하다는 주장의 근거가 된다.
미디어, 입법자, 연구원과 관련된 조직들은 운전자의 휴대폰 사용의 위험성에 집중해 왔지만, 휴대폰은 운전자의 인지부하의 원인 중 눈에 잘 띄고 쉽게 식별되는 것일 뿐이다. 예를 들어 영국의 레스 하튼(Les Hatton)은 다음과 같이 제시한다.
‘도로 표지판의 증가가 안전성에 미치는 영향을 수량화할 수는 없지만, 운전자의 정보 과잉이라는 문제를 야기할 수 있다. 일부 교차로에는 16개가 넘는 표지판이 있다.’
이는 운전 중 통화의 문제점에 대한 복잡한 논쟁에 일조하고자 하는 것은 아니다. 그 원인이 무엇이든, 인지부하가 운전자의 차량 조작에 영향을 미친다는 사실은 논쟁의 여기가 없다는 것을 지적하는 것만으로도 충분하다. 만약 인지부하와 운전자 수행능력 간의 상호관계가 사실이라면, 운전자의 인지부하를 감소시킬 수 있는 기술을 이용해 운전자 경험뿐만 아니라 운전자 수행능력과 차량 안전을 향상시킬 수 있을 것이다.
그 기술 중 하나가 공간적 청각 디스플레이 SAD다. 공간적 청각 디스플레이는 차량용 시스템과 애플리케이션에 대한 운전자의 만족도를 높여줄 뿐 아니라 인지부하를 감소시킬 수 있다. 또한 반응시간을 단축하고 오류를 감소시킴으로써 운전자 수행능력을 향상시킬 수도 있다.

공간적 청각 디스플레이

최근의 차량용 오디오 시스템은 사용자가 대부분의 非음악용 애플리케이션에서 나오는 모든 소리를 자동차 내부의 한 장소에서 나오는 것으로 인지하도록 설계된다. 이와 반대로 공간적 청각 디스플레이는 사용자가 소리를 3차원 공간 내의 서로 다른 위치에서 나오는 것으로 인지하도록 한다. 이렇게 인지된 위치는 차량 내부의 서로 다른 위치이거나 혹은 차량의 약간 바깥쪽일 수도 있다.


표준 청각 디스플레이는 그림 2에, 공간적 청각 디스플레이는 그림 3에 나타나 있다. 두 차량 모두 차량 실내 온도조절 시스템을 조작하고 전화를 거는데 사용하는 음성인식(Speech Recognition, SR) 시스템이 장착돼 있다. 그림 2는 표준 청각 디스플레이에 근거해, 실내 온도조절 시스템과 전화를 위한 청각적 프롬프트가 같은 장소에 위치한 SR 시스템이다. 그림 3은 공간적 청각 디스플레이에 근거해, 두 프롬프트가 각각의 애플리케이션과 연관된 서로 다른 장소에서 나오고 있다.


공간적 청각 디스플레이는 운전자가 애플리케이션이나 프롬프트를 특정한 위치와 연관시킬 수 있도록 해주며, 대상과 관련된 역동적인 공간 정보(예, 현 위치와 궤도)를 효과적으로 전달할 수 있게 해준다. 이는 운전자의 인지부하와 운전수행 능력에 대한 긍정적인 영향과 더불어 현재와 미래의 차량용 애플리케이션에 대한 사용자 경험을 향상시키는 데 다양한 방법으로 사용될 수 있다.

청자가 이용하는 공간적 단서

공간적 청각 디스플레이는 음향 단서(acoustic cues)를 전달하며, 인간의 청각기관은 이를 이용해 소리가 나오는 위치를 찾을 수 있다. 그러므로 공간적 청각 디스플레이 구현과 관련된 일을 하는 사람에게는 청자가 소리와 그 위치를 식별하는데 사용하는 음향 단서에 대한 지식이 매우 중요하다.

여기서 이 주제에 대해 제대로 논의를 하기에는 요구되는 자료가 많고, 페이퍼의 범위를 벗어난다. 하지만 다음의 리스트가 완전한 것은 아니더라도, 음향 단서에 대해 더 배우고자 하는 이들에게는 좋은 시작점이 될 것이다.

- 시작의 차이 - 소리가 왼쪽 귀에서 시작했을 때와 오른쪽 귀에서 시작했을 때의 차이
- 두 귀간 시간 차(Inter-aural Time Differences, ITD) - 청자의 두 귀 사이의 경로 차이에 의한 소리의 시간 차
- 두 귀간 음의 레벨 차(Inter-aural Level Differences, ILD) - 소리를 직접 듣는 귀와 청자의 머리를 통과하며 생긴 소리 그늘에 있는 귀 사이의 음의 레벨 차. 소리 그늘에 있는 귀가 듣는 주파수는 직접 음파의 경로에 있는 귀가 듣는 주파수보다 낮다.
- 스펙트럼 - 주파수에 걸쳐 소리의 크기순으로 배열해 놓은 것
- 총 레벨 - 들리는 소리의 크기
- 반사음에 대한 직접음의 비율 - 청자에 도달하기 전에 물체에서 반사된 소리의 크기에 대한 직접 청자에 도달한 소리의 크기
- 참조 객체의 델타 - 소리와 참조음 간의 앞서 언급된 단서의 차

공간적 청각 디스플레이의 여러 형태

공간적 청각 디스플레이를 어떻게 구현하느냐에 따라 사용자가 얼마나 바람직한 위치에서 소리를 감지하느냐가 좌우된다. 그리고 그 구현은 하드웨어(기본적으로 스피커의 수, 타입 및 위치)와 시그널 프로세싱 역량(예, 광역대 vs 표준 시그널)에 달려있다.
표 1은 정확성에 따른 차량 오디오 시스템 디스플레이를 보여준다. 그러나 이상적인 디스플레이라 할지라도 인간의 인지 한계 때문에 프롬프트를 식별하고 구별하는 데에 사용될 수 있는 위치도 그 정확도가 제한된다는 사실을 기억해야 한다.



운전자 수행능력 향상 

공간적 청각 디스플레이는 운전자가 자신의 차와 소통하기 위해 이용하는 휴먼-머신 인터페이스(HMI)를 향상시킴으로써 운전자의 수행능력을 향상시킬 수 있다. 오류 감소, 반응시간 단축, 이해도 증가 등의 향상으로 인해 더 나은 작업 수행이 가능하게 되며, 결과적으로 1) 운전과 관계가 있는 작업이나 관계 없는 작업을 수행하는데 노력이 덜 들게 되고, 2) 판단 오류를 줄여 운전과 이차 작업을 더욱 빠르고 정확하게 수행할 수 있도록 해준다.

오류 감소

공간적 청각 디스플레이는 판단 오류를 줄여줄 수 있으며, 식별 오류, 위치 오류 및 운행 조작 오류 등이 포함된다.

식별 오류

식별 오류는 사용자가 소리(프롬프트, 지시, 경고, 등)를 내는 애플리케이션, 물체 또는 이벤트를 식별할 때 범하는 오류를 말한다. 대부분의 경우, 결국 사용자가 정확한 소리의 위치를 알아내지만, 그렇게 하는 데는 시간과 노력이 들게 된다.
공간적 위치란 사용자가 아이템들을 공간적 위치와 연관시킴으로써 기억하도록 도와주는 기억증진 장치이다. 인간의 청각기관은 위치를 파악하기 위해 더 낮은 인지 수준에 있는 음향 위치 단서를 자동으로 처리하며, 자동차 안에 있는 사용자는 특정한 장소에서 나오는 소리가 그와 연관된 애플리케이션, 물체 또는 이벤트에 속한다는 것을 기억할 것이다. 그러므로 공간적 위치는 소리의 출처와 사용자가 취해야 할 행동에 대한 믿을 만한 힌트가 되며, 이를 통해 운전자가 소리를 식별하고, 어떤 반응을 해야할 지 이해하고, 필요한 행동을 취하는데 드는 시간과 노력을 줄일 수 있다.

위치 오류

위치 오류는 사용자가 소리 출처의 위치를 잘못 판단하거나 의도된 위치와 매우 다른 위치로 판단했을 때 발생한다. 예를 들어, 차의 창문이 열려 있고 응급차의 사이렌 소리가 근처 건물에 반사된다면, 운전자는 근접한 응급차의 위치를 잘못 판단할 수 있다. 그러나 공간적 청각 디스플레이는 사용자에 전달된 음향 단서를 제어함으로써 운전자가 좀 더 용이하게 응급차의 위치를 판별할 수 있도록 도와준다.

운행 조작 오류

운행 조작 오류는 운전자가 운행 조작을 올바르게 하지 못할 때 발생한다. 공간적 청각 디스플레이는 두 가지 방법으로 이러한 오류를 줄여준다.
첫 번째 방법은 조작을 해야 할 위치에 대한 중복된 정보를 제공하는 것이다. 단순히 운전자에게 “100미터 전방에서 우회전하세요”라고 구두로 지시를 내리는 것 대신, 프롬프트의 위치를 공간 내에서 나타냄으로써 조작을 해야 할 위치에 대한 중복된 정보를 제공할 수 있다.
두 번째 방법은 취해야 할 조작을 명확하게 나타내주는 프롬프트를 이용해 조작에 대한 궤도 정보를 제공하는 것이다. 예를 들어 “정확한 우회전”이 아니라 “약간 우회전”이라고 지시하는 것이다.

운전자의 반응시간 향상

공간적 청각 디스플레이를 통해 운전자가 프롬프트를 내보내는 애플리케이션을 식별하고 그 물체의 위치를 확인하는데 걸리는 시간을 줄일 수 있다. 예를 들어, 전화가 보내는 소리가 항상 일정한 위치에서 나오고, 온도조절 시스템이 보내는 소리는 또 다른 일정한 위치에서 나온다면, 운전자는 소리나 지시를 내보내는 소스를 즉각적으로 인식할 수 있다. 공간적 청각 디스플레이는 물체(예, 다가오는 응급차)의 위치에 대한 공간적 단서를 제공함으로써 운전자가 물체의 위치를 파악하는데 걸리는 시간을 줄여준다. 특히 그 물체가 충돌할 수 있는 거리에 있는 다른 차량이라면, 이렇게 번 시간으로 인해 간발의 차이로 사고를 피할 수도 있다.

향상된 음성 이해도

공간적 청각 디스플레이는 타이어나 엔진 등의 소음원과는 다른 한 장소나 혹은 여러 장소(통화 반대편에서 여러 음성이 들릴 경우)에 음성을 위치시킴으로써 시끄러운 자동차 환경 내에서 음성 이해도를 향상시킬 수 있다. 이것을 보통 “칵테일 파티 효과(cocktail party effect)” 라고 한다.
이렇게 차량 내 특정한 장소에 음성을 배치함으로써 반대편 통화 상대자의 목소리의 현장감을 높여줄 수 있다. 다시 말해 상대편의 음성이 자동차 발밑 공간에서 희미하게 나오는 소리가 아니라 바로 앞에서 생생하게 나오는 소리로 들리게 할 수 있다.
향상된 음성 이해도의 혜택은 듣는 데 드는 수고가 덜어진다는 것과 전화 통화의 질이 향상된다는 것에 그치지 않는다. 특히 공간적 청각 디스플레이가 광대역 전화 통화법과 같은 기술과 통합된다면, 운전자 주의를 방해하는 것도 줄일 수 있다. 누가 무슨 말을 하는지 이해하기 쉬울수록 대화에 필요한 작업 기억과 주의와 같은 인지 자원을 덜 사용하게 되기 때문이다. 따라서 자동차를 운전하는 것과 같은 다른 작업을 올바르게 수행하는데 더 많은 자원을 쓸 수 있게 된다.

시각-수동 방해의 감소  

공간적 청각 디스플레이는 시각-수동 방해를 줄임으로써 운전자가 도로를 주시할 수 있도록 도와준다. 공간적 청각 단서는 시각적 대상을 빨리 인식할 수 있도록 돕는다. 차량 내의 특정한 위치에서 들려오는 청각적 프롬프트는 신속하게 운전자의 시선을 계기판의 특정한 시각적 정보로 돌리며, 도로 상에 중요한 사건이 일어날 때 바로 다시 시선을 도로 위로 돌릴 수 있게 해준다. 이러한 두 가지 형태의 프롬프트는 운전자가 계기판과 표시된 정보를 보는 시간은 줄여주고, 전방 도로를 주시하는 시간은 늘려준다.
 
운전 수행능력에 미치는 영향

궁극적으로 차량용 공간적 청각 디스플레이는 운전자가 쉽고 빠르고 정확하게 누가 이야기를 하는지, 무엇이 소리를 내는지, 그 소리의 위치와 그 뜻이 무언지를 식별하게 하는데 그 가치가 있다고 할 수 있다.
운전자와 차량용 애플리케이션(내비게이션, 전화, 인포테인먼트), 자동차 및 자동차 정보(알림, 경고 등)와의 상호작용을 향상시킴으로써 반응시간과 시각적 방해 및 운전자의 인지부하를 줄여줘 운전 경험과 안전 모두를 향상시켜 준다.
차량 내 애플리케이션의 수가 증가할수록, 애플리케이션이 운전자의 일차 작업-안전한 운전-수행능력에 미치는 영향을 줄여야할 필요성은 더욱 중요해진다. 공간적 청각 디스플레이는 차량 내 HMI 상호작용을 촉진시키고 새로운 차량용 애플리케이션을 가능하게 해줄 기술로서 매우 가치가 높다는 것이 입증될 것이다.
공간적 청각 디스플레이는 인간이 “직관적으로” 물체와 사건의 위치, 그 궤도와 뜻을 식별하고 이해하는데 사용하는 청각적 단서를 제공할 수 있다. 또한 공간적 청각 디스플레이를 이용해 운전자는 자동차 내부와 주변에서 일어나는 상황에 대해 더 잘 인식할 수 있다. 따라서 공간적 청각 디스플레이는 운전자의 인지부하를 줄여, 운전에 더 집중할 수 있게 해주고 장시간 운전에 따른 운전자의 피로도 줄여준다. 공간적 청각 디스플레이는 사용자 경험을 향상시켜주고 운전자 방해 요소를 줄여줄 수 있는 비결 중 하나가 될 것이다. 



AEM_Automotive Electronics Magazine


<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>


  • 100자평 쓰기
  • 로그인


  • 세미나/교육/전시

TOP