차창 밖 한 겨울의 앙상한 나뭇가지에 잎사귀와 꽃을 피우게 만든다? 상상만으로도 마음이 녹아내리는 미래의 주행이 증강현실로 가능해질까. 헤드업 디스플레이의 확대 적용이 활발히 논의되는 한편 증강현실 내비게이션의 연구개발은 성숙 단계에 접어들고 있다. 증강현실은 실제 환경 위에 가상의 디지털 정보를 제공해 더 세상을 풍요롭게 만들고, 자동차에서는 강화된 안전, 편안함, 나아가 삶의 질을 향상시킬 것이다. 다임러는 현재 증강현실의 진화를 3단계로 구분해 마지막 단계 연구개발에 돌입했다. 2012년 CES에서 DICE 콘셉트를 공개하며 헤드라인을 장식했던 그들은 지난해 가을 R클래스에서 2단계 데모를 실시했고, 다시 이것을 S클래스로 이전해 다음의 혁신을 전개하고 있다. 다임러의 스테판 호이어(Steffan Heuer)가 그들의 AR 프로젝트를 소개했다.


사람들은 가까운 미래에 사물에 대한 완전히 새로운 시각, 시계를 갖게 될 것이다.
미래의 표지 등 정보의 표시는 매우 명확해질 것이다. 예를 들어 기술자, 외과의사, 고객 서비스 직원 등은 직장에서 데이터 고글을 착용하고 있을 것이다. 여행자들의 경우엔 스마트폰을 통해 특정 명소에서 지나칠 수 있는 각종 정보와 이에 기인한 또 다른 그곳의 모습을 놓치지 않고 볼 수 있게 될 것이다.    
메르세데스 벤츠도 이같은 미래에 동참하기 위해 그들의 모델에 소위 실시간으로 물리적 환경에 대한 다양한 관련 정보를 부가하는 증강현실(augmented reality, AR) 프로토타입을 적용하고 있다.

벤츠는 온보드 컴퓨터를 이용해 실제로 그곳에 언제나 그 정보들이 있었던 것처럼 실제 도로 위에 입체적으로 가상의 표시판, 길 안내 방향지시 화살표가 그려지고, 빌딩과 가옥 등에는 번지수와 같은 정보를 올렸다. 또 낮선 도시에 가더라도 마치 아이들이 하는 것처럼 쉽고 편리게 다양한 경험을 누릴 수 있도록 운전자와 보조석 승객, 자동차, 그들의 현재 위치와 개인적 데이터 모두를 연결한 정보 제공을, 전체 윈드실드를 디스플레이로 하고 제스처로 컨트롤하는 환경에서 할 수 있도록 했다. 즉, AR을 통해 희미해진 실제와 가상세계 간의 경계로 탑승자들은 새롭고 풍부한 시계와 운전의 경험을 갖게 되는 것이다. 


달라질 세상을 보는 시각
 
매일의 삶에서 세상은 끊임없는 변화를 업데이트하고 새로운 정보를 추가하며 새로운 시계를 창조하고 있다. 드러나고 변하며 중첩되는 데이터는 개인에 맞춤화된 것으로, 이것은 예를 들어 모든 거리, 나무, 집, 심지어 밤하늘에도 포함될 수 있다.       

우리가 보게 될 세상의 변화는 저비용의 센서와 클라우드로부터 끊임없이 흐르는 데이터 프로세스 또는 저장된 것들에 대한 지능적 알고리즘과 함께 더욱 강력해지고 있는, 컴퓨터에 의해 가능해지는 사소한 변화들의 반영이다.
AR은 아직까지 대중적으로 상용화될 정도에 도달하지는 않았다. 그러나 메르세데스 벤츠의 시도나 구글 글래스 같은 데이터 고글 등의 최초 콘셉트 연구와 시도들은 보이는 것에 대한 정보의 새로운 디지털 레이어 렌더링, 어떻게 미래의 시계가 변할 지를 데모하고 있을 정도로 거의 제품화 단계(production maturity)에 왔다.

AR은 향후 특정 장소, 적정 시간에 대한 더욱 안전하고 생산적이며 삶의 질을 향상시킬 많은 정보를 우리에게 제공할 잠재력을 지니고 있다. 많은 전문가들은 AR이 사람과 기계 간 매우 개인적 인터페이스이면서 즉각적이고 직관적이기 때문에 자율주행의 연관기술이 될 것으로 보고 있다. 




AR에 특별한 자동차
자동차는 AR 애플리케이션 개발과 테스트에 있어 매우 중요한 영역 중 하나다.
진델핑겐의 다임러 연구개발본부, 텔레매틱스 시스템 기능 부문장 피터 에벨(Peter Ebel)은 “기본적으로 오토모티브 AR은 인터페이스 로서 안전과 편안함이란 두 가지 달성 목표를 갖고 있다. 차에서의 사용을 최적화해 사용자 부담을 줄이는 것 같은 기술개발이 AR의 다음 발전 단계”라며 “이는 또한 현재의 차에서 내일의 차로 가는 핵심 중 하나이기도 하다”고 말했다.

에벨의 지휘 하에 다임러의 한 부서는 지난해 중반부터 제품화를 위한 연구 프로젝트로부터 윈드실드를 어떻게 혁신할 수 있을지, 어떻게 온보드 디스플레이의 가상화를 확대할 것인지에 대한 연구를 시작했다. 물론 이런 연구는 완전히 새로운 것이 아니라 1960년대부터 연구진과 기술 전문가들이 씨름해온 일이다.

이를 구체화하면 어떤 정보가 사용자에게 유용하거나 필요한지, 또 운전자 또는 승객의 경우에는 어떨지, 운전방해 없이 이를 최적화하기 위해서는 어떻게 해야 할지, 그리고 이런 기대를 예를 들어 크기와 디스플레이 해상도, 프로세싱 속도, 특히 실제 시야 위에 정확한 정보의 오버레이 등에 있어 전반적인 경제성을 염두에 두고 어떤 기술과 매칭시켜야할 지에 대한 답을 찾는 것이다.

에벨은 “대개의 사람에게서 매우 빠르게 인지부하가 걸리는 문제만 아니라면 엔지니어들은 모든 사물에 대한 정보나 엔터테인 데이터를 쉽게 중첩시킬 수 있다”며 “즉, 다임러의 핵심 과제는 스트레스를 줄인 편안함을 창조하는 것”이라고 말했다. 

AR은 과학이나 산업적으로 완전히 새로운 것이 아니다. 그러나 1990년대 AR이란 말을 처음 만들었고, 구글 글래스의 기술개발 담당이자 웨어러블, AR 전문가로 유명한 조지아기술연구원의 태드 스타너(Thad Starner) 교수에 의하면 AR은 기술적으로나 경제적, 효율성 면에서 최근에 들어서야 대중화 가능성이 열렸다. 

스타너 교수는 “때가 됐다. 우리는 이제 AR 시스템으로부터 많은 것을 진행할 수 있게 됐다”며 AR에 대한 높은 관심을 기뻐하고 있다.

초기의 AR 개척자들은 담대한 비전을 지속적으로 쫓았지만 시대적, 기술적 한계로 좌절할 수밖에 없었다. 그러던 것이 1990년대에 들면서 소위 ‘콘택트 아날로그(contact-analog)’라 불리는, 정확한 위치에 데이터를 중첩시키는 ‘컴퓨터 비전’ 관련 솔루션 개발 연구가 활발히 전개되면서 다기 활기를 띄기 시작했다. 좀 더 상세하게는 어떻게 하면 컴퓨터의 가상 오브젝트를 가능한 정확하게, 특히 관찰자와 보는 각도, 사물, 또 이 세 가지 모두의 가변적 움직임을 고려할 때에도 카메라 이미지 위에 완벽하게 중첩시킬 수 있는지에 대한 연구였다.

최초의 가능성, 스마트폰 
AR은 사람들의 벨트에 끼워진 컴퓨터와 연결돼 동작하는 어설픈 형태의 디스플레이로부터 시작됐다. 이같은 형태는 크기와 높은 비용의 문제 때문이었고, 따라서 예를 들어 비행기 등 매우 복잡한 기계의 유지보수 등과 같은 매우 특수한 애플리케이션으로만 사용됐다.  

그러나 스마트폰, 특히 2007년 애플의 아이폰이 처음 나오면서 AR은 터닝포인트를 맞았다. 아이폰은 세상이 모바일 액세스를 통해 가능해지는 정보의 양과 가치에 대해 눈을 뜨게 만들었다. 또 스마트폰과 태블릿 컴퓨터는 앱 스트림에서 개발자들이 어떻게 인터넷과 실제 사이의 엔터테인먼트 연결을 창조할 수 있는지에 대한 연구개발을 유도했다. 

이런 결과로 사용자가 디스플레이를 보기만 하면, 클라우드로부터 알프스의 알려지지 않은 봉우리나 공중의 비행기에 대한 상세 정보, 이름 등을 표시하는 초기 애플리케이션들이 선보여졌다. 또 몇몇 제조사들이 제작 중이거나 이미 시장에 내놓은 데이터 고글은 더 나은 정보와 신속한 인지를 가능하도록 시야에 직접 중요 데이터를 중첩시키는 한 차원 높은 AR을 선보였다. 

자동차는 그야말로 웨어러블 AR과 관련해 여러 강력한 이점을 제공할 수 있다. 안정적인 전원공급, 고속의 데이터 처리를 가능하게 할 통신과 안테나 제공뿐만 아니라, 대시보드 또는 윈드실드는 시야 내에 직접 정보를 프로젝션하거나 표면에 디스플레이를 인스톨하는데 이상적이다.  

다임러에 신설된 AR 팀의 마크 네커(Marc Necker) 매니저는 “AR의 특정 기술 측면은, 예를 들어 안전, 편의, 수송과 관련된 정보 확보를 위해 센서와 카메라를 사용하는 운전자 지원 시스템의 상용화처럼 이미 경제성을 확보했다”고 말했다.

네커 매니저는 승용차 AR이 3단계 진화 과정으로 제품화가 이뤄질 것으로 봤다. 최초이자 현재 단계는 카메라와 레이더, 초음파 센서 등 이미 차에 장착돼 있는 센서 데이터에 기반한다. 소프트웨어는 사물의 좌표를 결정할 수 있고, 사람이거나 사물인지를 식별하며, 디스플레이 위 비디오 이미지에 맞춰 표시한다. 이미지 센서를 활용한 시나리오 분석에 대한 컴퓨팅 파워도 성능, 경제성에서 이미 문제가 없는 수준이다.  

두 번째 단계는 현재 집중적인 개발 테스트가 이뤄지고 있는 GPS 데이터를 포함한 영역이다. 이를 통해 실제 사물에 가상정보를 정확히 배치시킬 수 있다.

네커 매니저는 “차가 순간 어디에 있고 어느 방향으로 가는지 혹은 운전자가 어디를 보고 있는지를 알기 때문에 풍경 위에 가상 오브젝트의 위치를 잡을 수 있다. 그 결과 오브젝트는 비디오 이미지에 맞춰 중첩될 수 있다”고 말했다.   

그러나 아직은 10미터 내외의 정확도를 지닌 GPS 데이터에 기반한 포지셔닝이기 때문에 어느 정도 부정확하고, 수정하지 않을 경우 몇 미터 정도 떨어져 있는 문제가 있다.  




미래의 내비게이션 플랫폼 
메르세데스 벤츠 S클래스에 기반한 실험 플랫폼은 가까운 미래의 자동차에서 활용될 자동차 안팎의 기술들을 조망할 수 있게 한다.

운전대를 잡고 착석하면 푸른색의 지시 화살표로 구성되는 “카페트 도로”가 실제 도로 위에 정확히 중첩돼 경로를 안내하는 프로토타입 AR 내비게이션을 볼 수 있다. 거리 이름, 푸른 음영의 건물 위에 중첩돼 백색으로 정확히 읽을 수 있는 번지수, 주유소나 지하철역 심볼 등 인근 POI(points of interest)가 디스플레이 위에 표시된다.

연구 팀에서 유즈케이스와 기능을 담당하는 디르크 올샤스크(Dirk Olszewski)는 “예를 들어 차를 타고 가다 건물의 지번을 찾아 읽는 것은 매우 힘든 일인데, 이런 시스템을 갖고 있다면 불편하고 위험하게 서행하며 주변을 심각히 살필 필요가 없을 것”이라고 말했다.

이같은 스트레스 경감 형태의 편안함은 상당한 컴퓨팅 파워를 요구한다. 부정확한 GPS 데이터 보정을 위해 다임러의 엔지니어들은 다수의 센서 데이터 세트를 포함하는 차량 거동 수학 모델을 개발했다. 알고리즘은 도로가 울퉁불퉁하거나 차가 제동이나 가속하는 동안 차체 회전, 피치 등은 물론 곡면과 기울기를 예측해야 하고, 이런 모든 것을 수학적으로 보정해야 한다. 이렇게 해야만 어떤 주행 상황에서도 카메라에 기반한 시계 위에 가상의 정보를 정확히 중첩시키는 “콘택트 아날로그”가 성립된다. 

네커 매니저는 “AR과 관련해 정밀성은 겨에서 밀을 분리하는 것과 같은 것으로 시장의 거의 모든 시스템의 수용력을 초과한다”고 말했다.

차량 기술과 시스템 통합을 담당하고 있는 크리스티안 그뢴너(Christian Gr웢ler)는 “가상 정보가 움직이는 상황에서도 실제 사물 위에 중첩돼 보여야만 사람은 이것을 하나로 인식한다”며 “이것이 사용자의 직관적 이해를 위한 부가정보를 안정적으로 제시하는 유일한 방법”이라고 말했다.  

도로 위의 방향지시 화살표는 실제로 이것이 그곳에 있는 것처럼 보이고, 그 역할을 해야만 한다. 그렇지 않으면 사람의 눈은 혼란스런 이질적 오브젝트를 거부할 것이고 이런 경우의 가상 내비게이션은 안정보다는 더 많은 혼란과 운전방해를 야기할 것이다. 또 소비자와 전문가들은 가상의 레이어가 가능한 그들의 눈앞에 가깝게 있고 심플하기를 원한다. 때문에 다임러의 최신 S클래스는 운전자와 조수석 승객에게 콘텐츠를 분리해 보여주는 두 개의 12.3인치 스플릿뷰(Splitview) 스크린을 갖고 있다. 또한, 선택된 관련 정보를 윈드실드에 투영할 수 있다. 

초기 콘셉트 연구에서 다임러는 어떻게 전체 윈드실드를 인텔리전트한 대형 스크린으로 전환시킬 수 있을지를 데모했고, 다이내믹(Dynamic)과 직관적 컨트롤의 경험(Intuitive Control Experience)을 함축한 ‘다이스 스컬쳐(DICE sculpture)’를 2012 라스베거스 CES에서 공개했다. 현재의 헤드업 디스플레이(head-up display, HUD)는 거의 모든 색상과 모양을 중첩해 보여줄 수 있지만 크기는 엽서 한 장 정도로 작다.

그러나 DICE 콘셉트는 샌프란시스코의 중심 교통 동맥을 따라 가상여행을 할 수 있고 제스처 컨트롤을 통해 차량 기능, 환경과 소통할 수 있다. DICE는 POI를 중첩시키고 운전자나 조수석 승객이 부가 상세정보에 접속할 수 있도록 돼 있다. 전화걸기, 음악듣기, 클라우드 데이터 접속 등과 같은 기능도 제스처로 컨트롤하고 활성화할 수 있다.  

마지막 단계

이런 기능과 아이디어를 제품화 단계로 이끌기 위해서는 AR이 진실하게 실제 환경에 기반해야 한다. 이는 세 번째의 진화 과정을 넘어야만 한다는 뜻이다.

다임러는 이미 AR의 상용화를 위한 첫 단계를 넘었고, 두 번째 단계 또한 지난해 가을 R클래스를 통해 데모했으며, 다시 이를 S클래스로 옮겨 더욱 고도화하면서 세 번째 연구단계에 들어가고 있다.

에벨은 “운전자는 회전 시에 정확한 차선을 타야만 한다고 알고 있기 때문에 방향지시 화살표는 직진차선으로부터 회전차선까지 정확하고 안정적으로 알려줄 수 있을 정도로 환경을 충분히 이해해야만 한다”며 “그러나 이렇게 되려면 적어도 5~7년은 걸릴 것”이라고 말했다. 

기술적으로 가능한 것과 더불어 AR의 구현에는 어떤 이동성 AR 태스크를 수행해야할지의 문제가 있다. 모니터와 HUD는 안전과 내비게이션을 위해 서로 다른 목적을 갖는다. 모니터는 큰 시야각을 제공하고 정보를 디스플레이하기 위한 더 넓은 공간을 제공한다. 그러나 운전자는 아주 잠깐 동안을 제외하면 언제나 도로에 시선을 고정해야만 한다. 때문에 HUD는 운전자의 시선을 도로 위에 유지시키지만 혼동과 운전방해를 줄이기 위해 정보의 복잡성을 최소화해야만 한다. 또 미래의 환경과 상황기반은 예를 들어 소셜 네트워크 또는 편지, 개인 카렌더 등을 통합하고 사용자의 클라우드 계정으로부터 관련 정보를 가져갈 것이다.

에벨은 “단지 가상의 지번을 빌딩 위에 표시하는 것이 아니라 어떤 사람과 어디에서 다음의 미팅이 있는 것을 상기토록 하면 어떨까? AR은 우리에게 이전에는 맞지 않았거나 전달할 수 없던 것들을 표시할 수 있다”고 말했다.
만일 사람들이 관련 정보들을 정확하게 그 즉시, 또한 직관적인 방법으로 이해될 수 있도록 제공받는다면, 이들은 교통에서 길을 찾고, 발을 편하게 만들어 주는 그들의 차가 지닌 능력에 대한 확신이 커질 것이다.

AR의 개발은 이렇게 적응형 시스템과 자율주행 비전과 함께 가고 있다. 또 웨어러블 디바이스 세계에 대한 이상적 인터페이스가 돼 가고 있다.

다임러는 이미 웨어러블 컴퓨터와 자동차 간의 연결 테스트도 수행했다. 예를 들어 개발 엔지니어들은 AR을 이용해 도어 투 도어 내비게이션 프로토타입을 만들었다. 운전석에 앉기만 하면 차에 내장된 내비게이션 시스템이 목적지 안내를 한다. 그리고 차를 달리면 루트가 데이터 고글을 통해 시야 내에 중첩된다. 이런 것들은 미래에 차량의 WiFi 네트워크 내에서 스마트와치나 피트니스 트래커와도 통합될 수도 있다. AR은 한 단계 한 단계 발전해가며 사물인터넷(IoT)과 실제 사이를 연결해 가고 있다.

에벨은 “AR은 스티어링 휠에서 단지 도로지도책(road atlas) 이상인 것이 아니다. 무료한 날, 장거리 여행에서 주변을 둘러싼 환경을 더 아름답게 만드는 것은 어떨까? 우리는 11월의 나무에 꽃을 피우거나 도로 주변에 가상의 고대 로마를 건설할 수도 있을 것이다. 이런 모든 것은 내일의 자동차를 단순한 수송수단에서 가정과 직장 사이의 제3의 공간으로 전환시킬 것이다. 다임러가 AR을 말하며 안전과 편안함을 강조하지만, 이 뿐만 아니라 우리의 삶과 시간에 대한 풍요로움에 대해서도 말하는 것”이라고 말했다.