뉘앙스의 궁극적인 목표는 ‘당신이 원하는 것을 아는 어시스턴트’의 개발이다. 이는 단지 레스토랑이나 음악 타이틀을 나열하는 것이 아니라, 선호하는 요리, 감정 상태에 따라 어떤 음악 타이틀을 원하는지를 아는 것이며, 질문이나 요청을 기다리고 답하기보다 능동적으로 뭔가를 제공하는 것이다. 뉘앙스는 새로운 어시스턴트 기능을 배포하기 전 연구소에서 광범위한 사용성 연구를 수행하고 있다. 뉘앙스 오토모티브(Nuance Automotive)의 닐스 렌케(Nils Lenke) 혁신총괄과 이야기를 나눴다.



Q. 자율주행과 같은 메가트렌드는 뉘앙스에게 어떤 의미입니까?
A. 자율주행은 뉘앙스에게 정말 많은 것을 의미하기 때문에 우리는 이에 적극적으로 대응하고 노력하고 있습니다. 뉘앙스(Nuance)는 ‘말하는 것’이 자율주행차에서 중요한 역할을 담당할 것이라고 생각합니다. 이는 2, 3레벨의 자율주행에서 운전자와 자동차간의 더 나은 조화를 이루도록 할 것이며, 이 후에는 시선 감지 등 다른 소통 수단들과 함께 4, 5레벨에서 ‘바퀴 달린 거실’을 가능하도록 만들 것입니다. 또한 언제나 운전자가 웹 또는 스마트시티로부터의 정보를 이용할 수 있도록 하는 커넥티비티가 중요 트렌드로 다가옵니다.

Q. 음성인식 기술이 자동차에 도입된 지 꽤 됐고, 인식률도 95% 이상이지만 고객만족도는 그렇지 않습니다. 최신 시스템은 어떻습니까?
A. 과거의 내비게이션과 음성인식 시스템은 제한된 수의 부분적인 음성으로 제어할 수 있었으며 자연스러운 방식으로는 제어할 수 없었습니다. 이것은, 예를 들어 시스템이 설계된 후 10년 이상의 세월이 흘러도 그대로인 자동차 산업의 속성 때문이기도 합니다. 그러나 모든 것은 변화하고 있습니다.

무엇보다도 다임러의 최신 MBUX와 같은 시스템은 훨씬 더 많은 기능을 지원하면서도 더 자연스러운 상호작용을 할 수 있습니다. 가정의 스마트 스피커처럼 작동하기 때문에 사용자 만족도가 높게 나타납니다. 또 클라우드와의 연결이 가능하고 임베디드 부분을 무선으로 업데이트할 수 있기 때문에 항상 업데이트되고 최신 상태를 유지하는 “살아있는” 시스템입니다.
그러나 더욱 사람과 같은 의사소통을 하기 위해서는 감정인식, 감정적 표출과 같은 상호작용 및 기능이 추가되기 위해 더 많은 노력이 요구되고 있습니다.

Q. 뉘앙스의 오토모티브 어시스턴트와 관련해 무엇에 주목해야할까요?
A. 우리가 BMW, 다임러 등과 같은 OEM 업체와 함께 최근에 구축한 제품은 이미 포괄적인 기능을 제공하면서 큰 성공을 거두었습니다. 뉘앙스는 현재 시선감지 기능이 있는 멀티 모달리티, 혁신적인 윈드실드 위의 증강현실, 음성과 시선을 이용한 차량 제어, 감정인식 등 차세대 혁신의 물결을 보여줄 CES 2019 데모를 만들고 있습니다. 게다가 이 기능 중 상당수가 2년 안에 자동차에 탑재될 것으로 기대하고 있습니다. https://www.youtube.com/watch?v=yncLVt61rgs




Q. 뉘앙스가 생각하는 궁극적인 어시스턴트란 어떤 것입니까?
A. 우리의 궁극적인 목표는 ‘당신이 원하는 것을 아는 어시스턴트’입니다.
이것은 단지 레스토랑이나 음악 타이틀을 나열하는 것이 아니라, 당신이 선호하는 요리, 감정 상태에 따라 어떤 음악 타이틀을 원하는지를 아는 것을 말합니다. 시스템이 운전자나 탑승자의 질문을 기다리고 목록과 함께 답하기보다는 능동적으로 뭔가를 운전자에게 제공하는 것입니다.

우리는 새로운 기능을 배포하기 전에 미국과 유럽의 뉘앙스 드라이브 랩(Nuance DRIVE Lab, 독일에 최근 설립된 기술연구소)에서 광범위하게 사용성 연구를 수행하고 있습니다. 드라이브 랩은 현재 시스템을 평가하고 음성기술의 미래를 바라보는 많은 연구에 참여하고 있습니다. 잠재적인 미래기술에 대한 사용자 경험 조사에 관해서 드라이브 랩은 최근에 시선감지, 감정인식, 졸음운전에 대한 연구를 수행했습니다.

이 모든 기술은 레스토랑에 대해 묻는 것에서부터 운전자가 잠들려 할 때 알람에 스트레스를 받는 사람에게 시스템이 차분하게 말로 하는 것과 같은 기능까지 운전자가 결정을 내리는 데에 도움을 주기 위해 운전자의 얼굴을 보는 기술들입니다. 이 연구들은 포커스 그룹, 주행 시뮬레이터에서의 실험, 아이트래킹을 포함한 다양한 방법으로 수행됩니다.

Q. 어펙티바와의 협력에 대해 묻지 않을 수 없습니다.
A. 뉘앙스와 어펙티바(Affectiva)는 서로를 보완합니다. 어펙티바는 음성신호와 얼굴 표정 등으로부터 졸음, 산만함과 같은 상태를 감지하는 기술을 갖고 있습니다. 우리는 이 정보를 이용해 행동을 대응시키고 의미 있는 방식으로 감정에 반응할 수 있는 어시스턴트를 만듭니다.

또 우리의 음성신호 향상 기술은 어펙티바의 기술이 차 내 모든 사람의 감정을 감지할 수 있도록 각각의 깨끗한 음성신호를 생성합니다.

Q. 어시스턴트의 지능을 위해 경험과 데이터가 굉장히 중요할 것입니다.
A. 어펙티바와 뉘앙스는 모두 시스템을 교육할 수 있는 풍부한 데이터 세트를 보유하고 있으며 전용 데이터 수집과 현장 데이터(데이터, 개인 정보보호를 존중)를 통해 매일 더 많은 것을 얻고 있습니다.

Q. 자기만의 개성, 얼굴, 음성을 가진 어시스턴트도 만날 수 있을까요?
A. 이러한 설계 결정의 많은 부분은 우리가 함께 작업하는 OEM에 의해 이뤄지지만 시스템이 뚜렷한 성격을 갖도록 설계할 수 있습니다. 새로운 TTS(text-to-speech) 기술을 통해 어시스턴트를 위한 맞춤 음성을 만들 수 있으며, TTS는 다중 스타일일 수도 있습니다. 즉, 말투의 톤과 방식을 콘텐츠에 적용하거나 사용자의 감정을 반영합니다. 또 얼굴이 있는, 이름을 부여한 아바타를 가질 수도 있습니다.

Q. KITT나 뉘앙스 드래곤 드라이브 프로모 수준의 어시스턴트를 언제쯤 볼 수 있을까요?
A. 약 2년 전에 출시한 우리의 비전 비디오를 다시 살펴보면, 실제로 우리는 양산 차량이나 적어도 데모용 차량에 대부분의 기능을 실현했습니다. 그러나 오늘날의 모든 인공지능 시스템과 마찬가지로 뉘앙스의 어시스턴트 역시 특정 영역에 국한돼 특정 주제에 대해서만 이해합니다. 우리가 음악, 내비게이션, 여행 계획 등 운전자와 관련된 영역에서 돕는 어시스턴트를 원하기 때문입니다.

KITT는 모든 주제에 대해 대화할 수 있고 자기 인식을 갖고 있습니다. 이같은 인공지능의 이해 수준에 도달하는 데에는 오랜 시간이 걸릴 것입니다.




뉘앙스-어펙티바: 자동차의 신기술 감정
더 인간적인 지능으로 안전성, 생산성 향상

자동차의 개인비서가 우리의 감정을 인식할 수 있는 미래가 가까워지고 있다. 뉘앙스 오토모티브 드라이브 랩의 애덤 앰필드(Adam Emfield)에 따르면, 시스템은 나와 내 주변환경에 대해 알고 응답하는 방법, 혹은 그냥 혼자 있도록 두는 것이 최선임을 알고 있다. 뉘앙스는 MIT 랩에서 스핀오프한 인공지능 스타트업 어펙티바와 협력해 이같은 솔루션을 만들고 있고, 뉘앙스 드라이브 랩은 운전자가 이러한 개념에 대해 어떻게 느끼는지 조사하고 있다.

카 메이커들은 세대를 거치면서 그들의 차와 함께 구축된 운전자와의 감성, 정서적인 관계에 자부심을 갖고 있다. 각각의 메이커들은 운전자를 위해 조심스럽게 만들어진 최소의 세부사항에 이르기까지 자체 브랜드를 사용해 세대를 초월한 로열티를 창조해내고 있다. 카 메이커의 성공 척도는 1년 또는 10년이든 관계없이 다음 차를 사거나 빌리는 운전자에 대한 것이다.



여기서 앰필드는 전통적으로 카 메이커들은 장기적인 감성, 정서에 포커스하지만 자동차 내부에서는 그 어떤 것도 운전자 매일의 일상적인 감정 상태를 모니터하지 않는다며, 운전자가 매일 어떤 감정을 느끼는지 생각해보고 감정을 해석할 수 있는 자동차를 상상해보자고 제안한다. 무언가에 좌절감을 느끼거나, 교통체증에 화를 내거나, 즐거운 운전을 하는 동안 행복해한다면, 나아가 졸리거나 구역을 벗어나고 사고 가능성이 높아졌다는 것을 알 수 있는 차를 상상해보자는 것이다. 이것이 바로 이를 현실로 만들기 위해 뉘앙스가 어펙티바와 협력하는 아이디어들이다.

뉘앙스는 그들의 감정인식 솔루션으로 운전자의 안전을 보장하기 위해 실제 운전자를 대상으로 사용자 조사를 실시하고 있다.

운전하는 동안 행복하다고 느끼고 있다. 무슨 일이 있는 것일까? 아마도 멋진 경치의 도로를 달리며 맘에 쏙 드는 음악을 듣고 있거나 아들이 학교에서 상장을 탔다는 전화를 받았을지 모른다. 다른 시나리오도 있다. 교통체증이 심해 짜증이 나고, 다른 차가 갑자기 끼어들기를 해 화가 나고 놀랐을 수 있다. 이러한 각각의 상황에서 감정을 인식하는 자동차의 운전비서, 개인비서가 있다면, 그 혹은 그녀는 어떻게 당신을 도와 줄 수 있을까? 또 어떤 때에 내버려둘 것인가?



도울 것인가, 기다릴 것인가

앰필드에 따르면, 뉘앙스의 드라이브 랩은 이같은 질문에 대해 연구하고 있고, 지난해 9월 초 보스턴에서 결과를 발표했다. 디트로이트 지역의 사용자 설문조사를 통해 18명의 운전자를 대상으로 트래픽 감정을 유발하는 동영상, 예를 들어 교통 이미지에 대한 분노, 사고 발생 가능성이 큰 이미지에 대한 놀라움, 아름다운 이미지에 대한 즐거움 등을 소개한 다음, 시스템에서 음악, 문구, 탐색 경로 변경으로 응답하도록 했다.

예를 들어, 케이티 페리(Katie Perry)의 ‘틴에이지 드림(Teenage Dream)’을 사용해 운전자가 더 아름다운 경로를 즐길 수 있도록 하거나, 다른 시나리오에서 시스템은 “큰일 날 뻔 했네요(Close call, but you’re alright!)”라고 말하면서 놀란 운전자를 진정시킬 수 있게 했다. 이는 시스템이 감정을 감지할 수 있을 때 운전자와 어떻게 상호작용하는지 알아보기 위한 테스트였다. 중요한 것은 운전자들이 이 시스템에 대해 어떻게 생각하는가였다.

응답자의 72%인 대부분의 사람들은 자신의 감정 상태를 감지하는 시스템의 내용에 긍정적인 평가를 했고 6%가 실망감을 표했다. 처음에는 운전자가 감정인식 후의 시스템 상호작용으로 인해 놀라워했고, 일어나고 있는 상황에 대해 알게 된 후에 다양한 사례에서 긍정적인 반응을 보였다.

앰필드는 이 연구에서 뉘앙스가 생산성을 중시하는 사람, 감성인식 시스템에서 감정적 안정을 중요시하는 사람이라는 두 가지 유형의 운전자가 있음을 발견했다고 말했다. 이 유형들은 성에 따라 완벽하게 분리됐다.

여성은 스트레스나 기분을 인식하고, 예를 들어 연결된 스마트홈으로 조용한 음악을 준비하는 것과 같이 기분을 직접적으로 좋게 하는 것을 선호했지만, 남성은 경로에서 효율성을 극대화하는 것과 같은 생산성을 높이는 것을 선호했다. 유사하게, 남성은 다른 조건에서 일반적으로 중립적인 동안 교통상황에 대한 중재에 대해 긍정적으로 평가했다. 여성은 교통 개입에 대해 더욱 긍정적이었고, 사고가 임박한 상황에서의 시스템 개입 시나리오에서도 긍정적인 반응을 보였다.

운전자가 다양한 시나리오와 감정적인 상태에 대한 운전비서의 반응을 경험한 후에 뉘앙스는 그들과 인터뷰했다. 뉘앙스는 인터뷰를 통해, 운전자가 긍정적으로 있는 동안, 시스템이 개입해야할 때와 그렇지 않은 경우에 대한 선호도가 있음을 발견했다. 예를 들어, 경치가 좋은 길을 따라 순항하는 동안 기분이 좋을 때, 운전자가 특정 플레이리스트로부터 사전 선곡된 곡들을 갖고 있는 경우엔 시스템이 개입하면 안 된다고 생각했다.

운전자가 거의 사고에 직면했을 때, 운전자는 정차, 심호흡을 하라는 지시에 귀 기울였지만, 뉘앙스가 테스트한 개입에 대해서는 다소 미지근한 반응을 보였다. 교통상황에서 운전자는 시스템이 상황을 고려해 재경로, 진정과 관련해 응답할 때 만족해했다. 특히 최근의 많은 연구에서 프라이버시 문제가 나타난다는 사실에도 불구하고 이는 큰 우려사항이 아닌 것으로 나타났다. 무엇보다도 사용자는 시간이 지남에 따라 그들에 대해 배우고, 안전과 생산성을 향상시키는데 도움이 되며 사용자 정의가 가능한 시스템을 원하는 것으로 나타났다.

감정, 새 자동차 기술

앰필드는 맞춤설정과 학습에 대한 결과가 뉘앙스가 수년간 연구해온 패턴과 일치했다고 말했다. 운전자는 보다 인간적이고 더 지능적이며 자동차의 안전과 생산성을 높일 수 있는 인카 개인비서를 기대하는 것이다. 그들은 이러한 기술이 불완전할 것이라고 생각하지만, 맞춤형 시스템이 시간이 지남에 따라 배울 수 있다면 시스템이 더 큰 가치를 제공할 것이라고 믿는다. 그들은 사전대책을 강구할 때 신중하고 곤경에 처했을 때엔 소극적이지 않은 시스템을 원한다.

운전자는 ‘감정’이 자동차에 들어오는 다른 모든 새로운 기능과 같다고 생각한다. 그렇지만 시스템은 상황을 고려할 만큼 충분히 똑똑해야하며, 각 요소가 조화롭게 작동하도록 전체적으로 설계돼야만 한다고 본다. 마지막으로, 운전자는 자율주행차를 갖게 될 때까지 이런 새로운 기능을 통해 안전성을 높이고 도로에 나설 수 있어야한다고 생각한다.

드라이브 랩은 어펙티바와 공동으로 음성기술을 발전시키는 과정에서, 우리가 운전 중에 감정적인 상태에 있을 때 원하는 것을 이해하기 위한 연구를 수행하고 있다. 뉘앙스는 일상적인 상호작용이 장래의 자동차에 대한 장기적인 만족을 이끌어내는 더 나은 차량 내 경험을 만들어 낼 것으로 믿고 있으며, 운전자가 가지고 있는 감정적인 연결을 기반으로 하는 새로운 아이디어를 지속적으로 시험하고 테스트하고 있다.

인공지능에 감정을 가르치는 방식은 기업마다 각양각색이지만, 방대한 데이터 수집을 기본으로 한다는 공통점이 있다. 가령, 어펙티바의 경우 700만 명의 표정을 인식해 데이터로 구축한 뒤 이를 바탕으로 계속해서 인공지능의 정확성을 높여나가고 있다. 어펙티바가 개발한 알고리즘은 사람의 표정이나 말에 반응해 인공지능 스스로 자신의 결정 방식을 계속 수정하도록 설정돼 있다. 또 어펙티바는 인종이나 문화권, 나이 등에 따라 다양한 변수를 설정해 인공지능이 사람의 행동 패턴을 빠르게 학습할 수 있도록 진화시키고 있다. 영어, 중국, 스페인어 등 다양한 언어에 따른 감정 표현과 심박수, 얼굴 표정과의 상관관계 등을 분석해 인간의 감정 상태를 보다 심층적으로 파악해 나간다는 계획도 갖고 있다.

어펙티바 기술의 뉘앙스 드래곤 드라이브 통합은 자동차의 개인비서, 운전비서의 인지, 감정, 상황 데이터의 깊이와 활용도를 높일 것이다. 제스쳐, 터치, 시선, 자연어 이해 등을 포함하는 뉘앙스의 대화형 인공지능 드래곤 드라이브는 현재 전 세계의 도로를 달리는 200만 대의 차량에서 40개 언어, 커스터마이징 기능으로 아우디, 다임러, 피아트, 포드, GM, 현대, SAIC, 토요타 등의 브랜드 경험과 함께하고 있다.