BMW 그룹 기술연구소 USA가 최근 메타의 리얼리티 랩 리서치(Reality Labs Research)와 협업해 회전하거나 과속 방지턱을 넘어 가속하는 차 안에서도 승객에게 안정적인 가상현실(VR), 증강현실(AR), 혼합현실(MR) 컨텐츠를 정확히 보여주는 기능의 가능성을 보여줬다. 연구원들은 메타 퀘스트 추적 시스템을 BMW의 센서 데이터와 통합함으로써 안정적으로 ‘car-locked’된 게임, 엔터테인먼트, 생산성, 명상 경험의 세계를 엿볼 수 있도록 했다. 이 기능은 미래의 AR 글래스와 개인화된 AI 비서에게 매우 귀중할 수 있다.

글 | 한 상 민 기자_han@autoelectronics.co.kr

관련기사: BMW I Vision DEE: 디지털 동반자를 찾는 첫 통로 (autoelectronics.co.kr)



마운티뷰의 BMW 그룹 기술연구소 USA가 최근 메타의 리얼리티 랩 리서치(Reality Labs Research)와 협업해 회전하거나 과속 방지턱을 넘어 가속하는 차 안에서도 승객에게 안정적인 가상현실(VR), 증강현실(AR), 혼합현실(MR) 컨텐츠를 정확히 보여주는 기능의 가능성을 보여줬다.
2021년에 시작된 이 연구 프로젝트의 목표는 언젠가 증강현실(AR), 가상현실(VR)을 스마트 차량에 통합해 승객 경험을 더욱 풍부하고 안전하게 향상시킬 수 있는 방법을 탐구하는 것이다. (BMW의 AR 연구는 10여 년 전부터 시작됐다.)

“이 기술이 언제 고객들이 이용할 수 있을지 정확히 말하기는 너무 이르지만, 우리는 운전자가 혼잡한 주차장에서 차를 찾는 것을 돕는 것에서부터 도로의 위험에 대한 경고, 차량 상태에 대한 중요한 정보를 표시하는 것에 이르기까지 차량의 XR 기기에 대한 잠재적인 유즈케이스를 예상하고 있습니다. 승객과 운전자에게 미래의 AR 글래스와 VR 기기의 유용성은 높다고 생각합니다.” BMW 그룹 기술연구소 USA의 클라우스 도러(Claus Dorrer) 소장이 말했다. 

이 개념증명 프로토타입은 주요 기술적 과제를 극복한다. VR 헤드셋은 카메라와 모션 센서를 사용해 정확한 위치를 파악해 사용자가 머리를 움직이거나 주위를 둘러볼 때 가상 컨텐츠를 안정적으로 유지한다. 최신 VR 헤드셋에는 여러 센서가 장착돼 있다. 2019년 최신 컴퓨터 비전과 상태 추정 기술을 결합한 메타의 오큘러스 인사이트(Oculus Insight) 기술의 데뷔 이후, 메타는 모든 범위의 사람의 움직임(6 자유도 또는 6DOF)과 동시에 2개의 핸드헬드 컨트롤러 및 세계의 헤드셋 위치를 찾아 모두 1밀리미터 미만의 정확도로 측정하는 추적 시스템을 제공할 수 있었다. 하지만 움직이는 차량은 다른 문제였다. 









오큘러스 인사이트와 같은 추적 기술은 관성센서(IMU)와 카메라를 모두 사용해 헤드셋의 위치와 모션을 정확하게 추정하지만 움직이는 환경, 보다 정확하게는 ‘비관성 참조 프레임’에서 이 두 가지 방식은 카메라가 차량 내부를 기준으로 움직임을 관찰하고 IMU가 세계를 기준으로 가속도 및 회전 속도를 측정하기 때문에 충돌한다. 그러니까, 헤드셋 모션 센서는 그것이 움직이고 있다고 생각하지만, 카메라는 차 내부를 볼 때 그것이 가만히 서 있다고 생각한다. 이 불일치가 현재의 VR 헤드셋이 빠르게 움직이는 차량 내부에서, 특히 차량이 가속하거나 회전하거나, 도로 위에서 요동칠 때 안정적으로 가상 컨텐츠를 표시할 수 없도록 한다.  

문제 해결을 위해 메타와 BMW는 BMW 자동차의 센서 어레이의 IMU 데이터를 실시간으로 메타의 프로젝트 아리아(Project Aria) 연구용 글래스의 추적 시스템에 통합했다. 이 추가 정보를 통해 시스템은 차량을 기준으로 글래스의 위치를 계산할 수 있다. 이것은 엄청난 업적이었다. 퀘스트 프로(Quest Pro)로 추적 시스템을 전송한 후에, 이들은 이동하는 차의 디지털 트윈을 이용해 가상 물체를 정확하게 고정시킬 수 있었기 때문이다. BMW와 메타는 이 새로운 추적 시스템과 퀘스트 프로를 사용해 움직이는 자동차에서 VR 및 MR 승객 경험을 보여줄 수 있었다. 그런 다음 세계와 관련된 차량 위치를 추가하는 것으로, world-locked 렌더링이 가능하게 된다.

“이 기술은 우리가 여행하는 동안 우리가 환경과 안전하게 상호작용할 수 있는 방법을 바꿀 수 있는 잠재력을 가지고 있습니다. AR 글래스로 가는 길에서 안정적으로 world-locked 컨텐츠로 발전해, 승객들이 랜드마크, 레스토랑, 관심 장소 등의 마커를 볼 수 있기를 희망합니다.”  리차드 뉴콤(Richard Newcombe) 메타 리얼리티 랩 리서치 부사장은 말했다. 





메타의 미래   

장기적으로 BMW와 메타는 지속적인 협력으로 발전하는 자동차의 머신 인식 기능을 활용해 미래의 유즈케이스가 가능하길 바라고 있다. 
차량의 정확한 6DOF 포지셔닝 시스템에 액세스하면 랜드마크 및 기타 관심 지점을 식별하는 것과 같이 차량 외부에서 world-locked 가상 컨텐츠를 렌더링할 수 있다. 이들은 특히 이 기능이 미래의 AR 글래스와 개인화된 AI 비서에게 매우 귀중할 것으로 기대하고 있다. 기술은 자동차, 기차, 비행기 등의 여행에 혁명을 일으켜 새로운 형태의 핸즈프리 통신, 엔터테인먼트, 유틸리티를 열어 오늘날 차에서 흔히 볼 수 있는 스크린이나 툴 이상의 가치를 제공할 수 있다. 

메타버스 세상은 BMW와 메타의 협업처럼 어느 한 회사 단독의 노력으로 가능해지지는 않을 것이기 때문에 이들은 언제나 다른 기업, 개발자, 창작자, 학자, 정책 입안자와 함께 협업할 것을 고대하고 있다.