ChatGPT 음성비서 도입을 실험하던 메르세데스 벤츠가 CES 2024에서 ‘Hey Mercedes’ 음성비서를 한 차원 높인 Unity 엔진 기반의 ‘MBUX VIRTUAL ASSISTANT’ 공개를 예고한 가운데, 독일의 KARLI 프로젝트에서 자율주행 시대의 다양한 AI 아바타가 사용자에게 미칠 영향에 관한 연구 결과를 발표했다. 연구의 초점은 바로 ‘현실적, 반(semi)-현실적, 완전 추상적 형태 중 어떤 것이 가장 바람직 하냐’란 질문이다.

글 | 한상민 기자_han@autoelectronics.co.kr

IN ENGLISH



인공지능이 등장하는 영화에서 종종 주인공은 ‘사람보다 더 사람 같은 존재’와 사랑에 빠지곤 한다. 기계와 사람을 더 친밀하게 만드는 것은 사람의 본질에 대한 깊은 이해와 관심, 동질성이 핵심인데, 이런 시도는 자동차에서도 스텔란티스나 메르세데스 벤츠 등이 ChatGPT와 같은 인공지능(AI) 기술을 그들의 음성비서(Driver Assistant)에 도입했거나 하려 하고 있고, 서비스 로봇처럼, NIO의 NOMI처럼 얼굴을 부여하는 것으로 이어지고 있다.    

연말, 지난 여름 북미서 ChatGPT의 음성비서 도입을 시험하던 메르세데스 벤츠가 2024년도 CES에서 그들의 ‘Hey Mercedes’ 음성비서를 한 차원 진보시키는, Unity 엔진을 특징으로 하는 ‘MBUX VIRTUAL ASSISTANT’를 예고한 동안, 독일의 한 프로젝트는 자율주행 시대의 다양한 AI 아바타가 사용자에게 어떤 영향을 미칠지에 대한 연구 결과를 발표해 주목받았다. 

이에 대해 해당 프로젝트인 KARLI의 일원인 beyond HMI의 피터 뢰스거 박사(Dr. Peter Rossger)는 “차량 내 AI 아바타의 시각적 모습을 테스트하기 위해 사용자 경험 연구를 실시했습니다. 사용자는 어떤 종류의 아바타를 받아들일까요? 연구의 초점은 바로 ‘현실적, 반(semi)-현실적, 완전 추상적 중에서 어떤 것이 가장 좋습니까’란 질문이었습니다”라고 요약했다. 




KARLI의 목표는 미래 차에서 적응력 있고 반응성 높은, 자율주행 단계에 따라 운전자 상태를 기록하고 상호작용할 수 있는 AI 기능을 개발하는 것이다.


 
KARLI 

일상적인 운전 중에 미래의 AI 운전비서는 우리와 어떻게 상호 작용해야 할까? 또, 자율주행으로 도로를 순항하는 동안 음성비서는 어떤 퍼스널리티를 갖아야 할까? 중요하게는, 예상치 못한 긴급상황에 처했을 때 AI는 어떻게 대응해야만 할까? 이런 질문에 대한 답이 중요한 이유는 프로그래밍에 따라 작동할 뿐만 아니라 사용자의 요구, 선호도에 맞게 조정되는 AI 설계 때문이다. 

자동차 독립 디자인 스튜티오인 스튜디오커보스(studiokurbos)를 비롯, 콘티넨탈, 포드, AUDI, 올어라운드 팀(Allround Team), 슈투트가르트 대학, 슈투트가르트 미디어 대학, TWT GmbH Science & Innovation, 파라곤 셈복스(Paragon Semvox) 프라운호퍼 IAO, 프라운호퍼 IOSB, 인벤시티(INVENSITY) 등의 팀은 독일연방경제 및 기후보호부가 (자금) 지원하는 선구적인 KARLI 프로젝트에 전념해왔다. 2021년 여름 3년 프로젝트로 시작된 이 KARLI의 목표는 지능형 이동성 분야에서 연방정부의 첨단 기술 전략 구현을 지원하는 것으로, 미래 차에서 적응력 있고 반응성 높은, 자율주행 단계에 따라 운전자 상태를 기록하고 상호작용할 수 있는 AI 기능을 개발하는 것이다. 

자율주행 단계를 포함하는 주행상황은 운전자의 상태, 행동, 그에 따른 능력에 대한 구체적인 요구사항을 말해준다. 이를 기록하면 실제적인 목표 조정과 사람과 기계 간 대화에서 적절한 접근 방식이 가능해진다. 때문에 첨단 기술의 활용뿐만 아니라 차 안에 있는 사람의 바람과 선호도도 고려된다. 결과적으로, KARLI에 의해 수집되고 연구, 테스트된 경험적, 합성 데이터는 향후 양산차에서 사용할 수 있는 빅 데이터로 확장될 수 있다.

“KARLI 프로젝트는 독일 정부가 자금을 지원하는 기업 간 프로젝트로, 차량 내 AI 활용에 관한 기초 연구 프로젝트입니다. 멀미, 운전자 행동 수준 준수, AI 기반 HMI의 세 가지 작업 패키지가 있습니다. 스튜디오커보스는 이 세 개 작업 패키지 모두에 대한 HMI를 생성했습니다.” 뢰스거 박사가 설명했다. 




연구팀은 디자인 스튜디오에서 가상현실(VR) 설정을 사용해 참가자들을 시뮬레이션된 운전 경험에 몰입시켜 사용자 연구를 실시했다.



AI 아바타와 실험환경 

KARLI 프로젝트의 일부는 다양한 AI 아바타의 형태가 사용자에게 어떤 영향을 미치는가이다. 

연구팀은 디자인 스튜디오에서 가상현실(VR) 설정을 사용해 참가자들을 시뮬레이션된 운전 경험에 몰입시켜 사용자 연구를 실시했다. 이 VR 환경에서 승객들은 친절한 인사부터 잠재적으로 위험한 시나리오를 처리하는 것까지 다양한 운전 상황을 겪었다. 그리고 이런 시나리오에서 참가자들에게 던진 질문은 운전 경험을 향상시키는 데 중요한 요소가 된다.

“우리는 세 가지 버전의 비주얼, 애니메이션을 만들고 약간의 음성을 추가했습니다. 이 스피치 출력은 세 가지 버전 모두에서 동일하고 정적이었습니다. 그 이유는 세 개 버전 간의 최대 비교 가능성을 얻기 위함입니다. 그러니까, 이 연구에서 사용된 AI 기술은 없습니다.” 뢰스거 박사가 말했다.

팀은 간단한 스티어링 휠과 페달이 특징인 특수 제작 의자를 이용해 몰입형 VR 환경을 구축했고, 이런 설정에서 Unity를 사용한 VR 세계로 다양한 성별, 연령대의 20명의 참가자를 불러들였다. 그들은 VR 헤드셋을 통해 영상 데이터를 전달받으며 몰입감 높은 실제와 같은 경험을 제공받았다. 여기에 연구팀은 외모와 움직임이 크게 다른 세 가지 유형의 AI 아바타 디자인을 개발해 테스트에 적용했다. 

“우리는 Goodpatch Athena로 만든 가상환경에서 다양한 버전의 영상을 보여줬습니다. 그리고 데이터는 순위, Net Promotor Score, meCUE, 공개 인터뷰를 통해 수집됐습니다. 테스트 참가자와 아바타 사이에는 상호작용이 없고 비디오만 있었습니다.”




연구팀은 세 가지 버전의 비주얼, 애니메이션을 만들고 약간의 음성을 추가했다.



‘추상적(Abstract)’ 디자인인 A는 상황에 따라 스스로를 역동적으로 변화시키는 완전히 추상적인 아바타다. 예를 들어 말할 땐 입을 형상화하고 위험 순간에는 느낌표로 변한다. 상호작용과 일시 정지 중엔 맥동해 자신의 이용 가능성을 나타낸다. 로보틱(Robotic)’으로 명명된 디자인 B는 활동과 가용성을 전달하기 위해 움직이는 맥동선을 가진 얼굴 없는 로봇 같은 아바타를 특징으로 했다. 디자인 C인 ‘휴머노이드(Humanoid)’는 포인트 클라우드로 생성된 얼굴 이미지를 갖는 인간 유사 아바타다. 이 아바타는 상이한 얼굴 표정을 표시할 수 있고, 비활성 동안엔 규칙적인 깜박임을 나타낸다. 

팀은 이들 AI별로 ▶운전자 환영 ▶운전자의 통제권 회수 유도 ▶운전자가 긴급상황에 대응하지 못할 경우 등 세 가지 시나리오를 디자인했다. 

시나리오 평가 동안, 참가자들은 이해의 명확성, 두려움, 유용성, 시각적 매력, 사회적 인상, 그리고 감정적 연결을 포함해 다양한 측면들을 평가했다. 그들은 ’당신이 아바타를 얼마나 잘 이해했는가?’ 또는 ‘그것이 당신에게 얼마나 섬뜩하게 보였는가’와 같은 질문에 대해 0부터 10까지의 척도로 답했다.




요약하면, 이 연구에서 ‘로보틱’ 디자인은 이해하기 쉽고 시각적으로 어느 정도 매력적이었다. 대조적으로 ‘추상적’ 디자인은 가장 유용하고 덜 섬뜩하지만 선호도가 낮았다. 휴머노이드는 섬뜩하고 이해하기 어려웠다.  



로보틱 아바타 

뢰스거 박사는 “결과적으로 세 가지 버전 모두 완벽하지는 않았지만, 우리는 사용자 그룹을 통해 더 많은 수용을 얻기 위해 로보틱 버전을 개선하는 방법에 대한 지식을 얻었습니다”라고 말했다.  

연구 결과 디자인 B인 ‘로보틱’은 순위, 순 추천 지수(소비자가 제품이나 서비스를 추천할 가능성을 측정), 전반적인 설문 평가 측면에서 최고의 선택으로 뽑혔다. 그다음으로는 디자인 A의 ‘추상적’과 디자인 C의 ‘휴머노이드’였다. 비교적 젊은 참가자들, 특히 AI 경험이 있는 이들이 로보틱을 선호하는 경향을 보였다. 반면, 휴머노이드는 40세 이상 참가자들에게 주로 좋은 반응을 얻었다. 

전반적으로 가장 인기 있는 선택은 로보틱이였는데, 흥미롭게도 참가자의 연령이 높아질수록 휴머노이드에 대한 선호도가 높아지는 반면, 추상적에 대한 선호도가 낮아졌다.
참가자들은 로보틱이 아바타로서 가장 이해하기 쉽고 시각적으로 매력적이라고 생각했다. 휴머노이드는 이해하기 어렵고 시각적으로 매력적이지 않은 것으로 간주됐다. 한편, 가장 선호도가 낮았지만 추상적인 아바타는 이해하기 쉽고 미학적으로는 만족스러운 균형을 유지했다. 

‘추상적’은 섬뜩한 것으로 인식되지 않으면서 유용한 것으로 나타났다. 로보틱도 섬뜩하지는 않지만 약간의 불안 요소가 있으면서 유용한 것으로 간주됐다. 휴머노이드는 극도로 소름끼치는 것으로 여겨졌다.

요약하면, 이 연구에서 ‘로보틱’ 디자인은 이해하기 쉽고 시각적으로 어느 정도 매력적이었다. 대조적으로 ‘추상적’ 디자인은 가장 유용하고 덜 섬뜩하지만 선호도가 낮았다. 휴머노이드는 섬뜩하고 이해하기 어려웠다. 
팀은 이 사용자 연구 결과가 미래 차량을 위한 보다 지능적이고 적응 가능하며 반응성이 뛰어난 AI 상호작용을 생성하는 데 있어 필수 단계로 본다. 드라이빙의 미래는 모든 승객의 편안함과 안전한 운전 경험 제공을 위해 기술과 사용자 중심 디자인의 융합에 달려 있기 때문이다. 
“우리는 내년 6월 워싱턴 DC의 HCII에서 이 결과물을 영어로 출판할 계획입니다.”





뢰스거 박사는 메르세데스의 MBUX VIRTUAL ASSISTANT에 대해 "아직까지 경험한 적 없어서 최종적인 인상을 줄 수 없다"면서 "일반적으로 운전은 시각적인 활동이 많다. L3에서도 운전자는 몇 초 안에 인계받아야 한다. 아마도 벤츠가 실제 가치를 제공하는 좋은 솔루션을 찾았을 수도 있지만 최종 판단을 내리려면 이런 방법을 사용해야 한다!"고 말했다. 



한편, CES 2024 MBUX VIRTUAL ASSISTANT의 티저에는 스크린에 별 모양의 메르세데스 패턴 포인트 클라우드가 떠다니고 있다. 이 포인트들은 미래에 메르세데스 벤츠의 선택, 아니 고객의 선택에 따라 추상적, 로보틱, 휴머노이드 등 모든 형태로 될 수 있을 지 모른다.

어쨌든, 지금 확실한 것은 2010년대 후반 메르세데스 벤츠가 지능형 가상비서를 개발할 때 “고객이 언제 어디에서나, 구글 홈이나 알렉사 등 모든 것에 연결되고 ‘자동차’ 뿐만 아니라 다양한 정보, 심지어 잡담에도 톡톡 튀는 답변을 할 수 있을 것이라고 말했다는 점이다. 자연스럽고 인간과 같은 상호작용을 통해 초개인화되고 직관적인 차내 경험을 만드는 것이 목표라고 했었다. 


연관기사: 아바타가 자율주행차의 신뢰성을 높일까 (autoelectronics.co.kr)