레벨 3 자율주행의 인접, 전기차, 커넥티드 카 시대는 AR HUD 대중화의 시작점이다. 자동차는 4G, 5G로 직접 연결돼 ‘올웨이즈 온’이 되어 가고 있으며, 엔트리 레벨 차량까지 센서 세트를 이용하는 첨단 운전자 지원 시스템 장착이 크게 늘었다. 프리미엄 카의 전유물이었던 HUD는 이코노미 차량에도 들어가기 시작했다. 특히, AR HUD와 관련해 전기차 등 브랜딩이 요구되는 모델이 더욱 늘면서 전 세계 OEM이 이 기술의 가능성과 사용 사례에 집중하고 있다.

글｜한상민 기자_han@autoelectronics.co.kr


 

벌써 10년 전이다. 2011년 말 개봉된 ‘미션임파서블 고스트 프로토콜(Mission: Impossible: Ghost Protocol, 2011)’에서 관객의 눈을 사로잡은 것은 고성능 플러그인 전기차 BMW i8와 윈드실드 전체를 활용한 ‘헤드업 디스플레이(HUD, 혹은 트랜스퍼런트 스크린)’였다. 톰 크루즈(Tom Cruise)의 착석과 함께 윈드실드 전체가 거대한 내비게이션으로 바뀌었다. 손동작(제스처 컨트롤)으로 도로 위에 떠 있는 디지털 맵을 옆으로 보내자 조수석의 폴라 패튼(Paula Patton)이 건네받아 상세 검색을 진행한다. 스크린 상에는 윈드실드 위에 맵이 입혀진 것처럼 보이지만, 실제는 운전자와 조수석 탑승자의 눈으로부터 최소 2 m 전방(최대 30 m) 도로 위에 떠 있는 가상 영상이다.

이즈음 BMW, 아우디, 다임러 등은 그들의 서플라이어들과 함께 ‘컨택트 아날로그(contact analog)’라 불리는 미래의 ‘증강현실(augmented reality, AR) HUD’ 프로토타입을 선보였고, 이것을 본 우리는 HUD가 미래 콕핏의 핵심 아이템이 될 것으로 예상했다. 왜냐하면, 자동차는 AR 애플리케이션에 있어 가장 특별하기 때문이다. 자동차에서 AR은 인터페이스이면서 안전과 편안함이란 뚜렷한 두 가지 달성 목표를 두고 있다. 차에서 사용 최적화를 통해 사용자 부담을 줄이는 것이다. 게다가 자동차는 움직이지만 사용자인 운전자는 움직이지 않는다. 대시보드와 윈드실드는 눈 앞에 직접 정보를 투사하거나 표면에 디스플레이를 인스톨하는 데 이상적이다.

기본적으로, 헤드업 디스플레이는 운전자의 시선으로부터 윈드실드 너머 허공에 인스트루먼트 패널의 주요 정보와 간단히 내비게이션의 방향 지시를 표시해 운전부주의를 줄임으로써 주행 안전성과 편의성을 높여주는 기술이다. 투명한 그래픽 이미지를 윈드실드의 반사 필름에 투사해 이미지가 운전자 앞 몇 미터에 있는 것처럼 보이게 한다. HUD로 인해 운전자는 고개를 숙여 속도계를 확인하거나, 우측에 위치한 내비게이션을 민감하게 주시할 필요가 없어진다. 오직 전방 도로를 주시하는 것으로 주요 주행 정보를 볼 수 있다.  

나아가 AR HUD는 안전성, 편의성 측면에서 전통적인 HUD 보다 훨씬 뛰어나다. 예를 들어, 복잡한 초행길에서 ‘200미터 앞 우회전’과 같은 안내를 듣고도, 일반적인 HUD가 있다고 해도 우리는 거리 가늠이 안 돼 진출 타이밍을 놓치기 일쑤다. 하지만 AR HUD는 종전보다 더 커지고 정밀해진 투명 디스플레이를 이용해 실제 더 먼 전방 풍경 위에 진출입, 방향 전환해야하는 지점에 정확하게 화살표(생선뼈), 혹은 카펫이나 라인과 같은 길 안내, 가상의 표지판 등 이미지를 중첩해 보여줘 혼선을 없앤다. 그러면서 차량 속도와 기본적인 안내 정보는 가까운 화면에, 보다 실제와 같은 증강현실 정보는 먼 화면에 비춘다. 뿐만 아니라, 앞차와 간격이 너무 가깝거나, 급하게 끼어드는 차량, 보행자, 사물 등 충돌위험에 대해, 차선 유지를 위해 AR 그래픽으로 위험을 쉽게 인지할 수 있도록 표시한다. 

예를 들어, 메르세데스 벤츠 최초로 AR HUD를 적용한 S클래스는 이미지를 10 m 거리에 나타낸다. 디스플레이 영역은 77인치 다이애그널 모니터에 해당한다. 이미지 형성장치(TI DMD)는 1.3 mill의 고해상도 매트릭스로 구성된다. 



메르세데스 벤츠 S클래스의 MBUX AR HUD

제네시스 AR HUD 데모


AR HUD 양산 

레벨 3 자율주행의 인접, 전기차, 커넥티드 카 시대는 AR HUD 대중화의 시작점이다. 자동차는 스마트폰 테더링이 아닌, 4G, 5G로 직접 연결돼 ‘올웨이즈 온’이 되어 가고 있으며, 엔트리 레벨 차량까지 센서 세트를 이용하는 첨단 운전자 지원 시스템(ADAS) 장착이 크게 늘었다. 이것은 AR HUD 구현에 필수적인 센서와 데이터의 활용이 가능해졌고 비용 문제가 크게 해결될 수 있다는 의미다. 또 주행안전성 강화의 필요성 증대와 여전한 운전부주의 문제로 자동차에 HUD와 CID를 위한 AR 솔루션 통합 요구가 높아지고, 결정적으로 프리미엄 카의 전유물이었던 HUD가 이코노미 차량에도 들어가기 시작했다. IHS에 따르면, 2021년 전체 HUD 장착은 2020년 대비 크게 성장한 1,000만 대, 10대 중 1대 수준에 이를 전망이다. 특히, AR HUD와 관련해서 전기차 등 OEM 브랜딩이 요구되는 모델이 더욱 늘면서 전 세계 OEM이 이 기술의 가능성과 사용 사례에 집중하고 있다. 



IHS HUD 전망


과거 AR HUD의 주요 이슈는 어떤 정보가 사용자에게 유용할지, 크기와 디스플레이 해상도, 프로세싱 속도, 실제 시야 위에 얼마나 정확하게 정보를 오버레이할 수 있을지 등이었다. 특히, 기술적으로 어떻게 컴퓨터의 가상 오브젝트를 가능한 정확하게, 관찰자와 보는 각도, 사물, 또 이 세 가지 모두의 가변적 움직임을 고려해 카메라 이미지 위에 완벽하게 중첩시킬 수 있을지였다.  

AR은 카메라와 레이더, 초음파 센서 등 이미 차에 장착돼 있는 센서에 기반한다. 센서와 소프트웨어는 사물의 좌표를 결정할 수 있고, 사람이거나 사물인지를 식별하며, 디스플레이 위 비디오 이미지에 맞춰 표시한다. 이미지 센서를 활용한 시나리오 분석에 대한 컴퓨팅 파워, GPS 데이터를 포함해 실제 사물에 가상 정보를 정확히 배치시킨다. 차가 순간 어디에 있고 어느 방향으로 가는지 혹은 운전자가 어디를 보고 있는지를 알기 때문에 풍경 위에 가상 오브젝트의 위치를 잡을 수 있다. 고정밀 GPS와 HD맵 데이터에 기반한 포지셔닝으로 정확도를 개선했다.   
AR은 이처럼 다수의 센서 데이터 세트를 포함하면서 차량 거동 수학 모델을 포함한다. 알고리즘은 도로가 울퉁불퉁하거나 차가 제동이나 가속하는 동안 차체 회전, 피치 등은 물론 곡면과 기울기를 예측해야 하고, 이런 모든 것을 수학적으로 보정한다. 이렇게 해야 주행 중 카메라에 기반한 시계 위에 가상 정보를 정확히 중첩시킬 수 있다. 



폭스바겐 iD 패밀리의 핵심 중 하나로 채택된 AR HUD


예를 들어, 폭스바겐 등과 함께 양산에 들어간 LG전자의 AR HUD 솔루션 ‘Conniro™’의 핵심은 강력한 AR 엔진이다. 이 엔진은 차내 센서가 관찰한 정보를 실시간으로 병합하고 차량 주변의 모든 관심 오브젝트의 미래 상황을 예측하는 첨단 센서 융합 프레임워크를 기반으로 한다. 정교한 신호처리 프레임워크는 차량의 동적 움직임에 대한 AR 컨텐츠의 안정화를 보장하고, AR 컨텐츠와 실제 세계 사이의 시스템, 시간 지연을 줄인다. AR 엔진은 이런 컴퓨팅의 복잡성 측면에 최적화돼 있어 저성능 SoC 환경에서도 높은 프레임 속도를 달성한다. 



LG Conniro™


자율주행 

AR HUD의 주요 개발은 OEM의 개성과 고객에 대한 배려에 해당하는 커스터마이즈, 어떤 디자인을 적용해야 운전 방해 없이 더 직관적으로 정보를 전달할 수 있을 지에서 자동주행 시스템, 나아가 완전 자율주행 시대의 애플리케이션으로 전개되고 있다.  
AR은 콕핏에서 단지 편리한 맵 그 이상이 될 것이다. 차가 스스로 주행하는 때가 되면 콕핏은 운전만을 위한 공간이 아니기 때문이다. 예를 들어, 레벨 3 자율주행의 최대 문제는 운전자를 잠들지 않도록 하는 것이다.

레벨 4 이상이면, 콕핏은 우리가 생활하는 또 다른 방의 일부가 돼야할 것이다. 모터쇼, IT쇼, 데모 영상에서처럼 윈드실드는 게임을 위한, 영화를 보기 위한, 여행 가이드 역할의 디스플레이가 될 수 있다. 자동차의 윈도들은 그것이 HUD, 트랜스퍼런트 디스플레이, 라이네이트 디스플레이 기술을 이용하건 간에 언젠가는 자동차란 기술적 특수환경, 비용의 문제를 넘어 우리의 삶과 시간에 대한 풍요로움에 대한 디스플레이가 될 것이다. 


BMW i Interaction EASE

자동차의 윈도들은 그것이 HUD, 트랜스퍼런트 디스플레이, 라이네이트 디스플레이 기술을 이용하건 간에 언젠가는 자동차란 기술적 특수환경, 비용의 문제를 넘어 우리의 삶과 시간에 대한 풍요로움에 대한 디스플레이가 될 것이다. _LG Display
 

AEM_Automotive Electronics Magazine