현실과 가상의 경계를 허문 ‘혼합현실’

  
공상과학영화에서나 접했던 혼합현실(MR) 기술이 현실 세계와 가상 세계의 경계를 허물고 있다. 자동차 디자이너와 엔지니어들은 공간 제약을 받지 않고 여러 지역 또는 국경 너머에 있는 동료들과 제품 리뷰, 평가 또는 수정 프로젝트에 참여하고 있다. MR은 물리적 프로토타입에서 불가능했던 다양한 주제를 다룬다.


방에 사람이 서 있다. 사람만 있는 것은 아니다. 거리에 자동차도 있다. 자동차를 모두가 볼 수 있는 것은 아니다. 이 당황스러운 상황은 디지털 애니메이션, 즉 홀로그램이다. 믿을 수 없을 정도로 자연스럽고 생생하다. 영화의 특수효과가 아니다. 눈앞에 펼쳐진 광경은 현실이다. 가상현실과 증강현실은 이미 자동차 산업 및 상업 공간에서 새로운 비전을 제시하며 혁신의 가능성을 열어가고 있다. 혼합현실(Mixed Reality, MR)은 두 세계를 연결한다.
 
가상 세계와 현실 세계의 통합


혼합현실은 요즘 ‘뜨는 기술’이다. 말 그대로 ‘다양한 방식을 혼합해서 만들어낸 현실’을 뜻한다. 기술적으로 접근하면, 증강현실(AR)’과 가상현실(VR)을 통합하고 사용자와의 인터랙션을 더욱 강화한 방식을 말한다. 즉 현실과 증강현실, 가상현실의 요소가 모두 혼합된 상태를 구현하는 것이다.
 
눈앞의 현실과 컴퓨터 그래픽(CG)을 실시간으로 합성하는 MR 기술은 실물이 눈앞에 있는 듯한 압도적인 현장감을 실현한다. 또한 모든 각도에서 대상을 볼 수 있기 때문에 가상현실 속에 있는 듯한 ‘몰입감’을 제공한다. MR 헤드셋의 카메라와 센서, 프로그래밍의 마법이다.
 
MR 기술은 다양한 분야에서 그 활용 영역을 빠르게 넓혀가고 있다. 예를 들어, 자동차의 설계 및 제조 부문에서 소위 프론트 로딩(Front loading, 조기에 문제를 찾아내 대책을 강구)의 일환으로 디자인 데이터나 설계 데이터를 실물 크기의 3D 영상으로 확인하고 프로토타이핑 횟수를 줄일 목적으로 적용하고 있다.
 
마이크로소프트 홀로렌즈(HoloLens), 오큘러스 리프트(Oculus Rift)는 가상현실과 증강현실의 대표적인 히트작들이다. 마이크로소프트(MS)의 홀로렌즈는 CPU 및 메모리, 배터리, Wi-Fi/블루투스 등을 장착한 HMD(Head Mounted Display)형 컴퓨터다. 단독으로 MR을 실현할 수 있다. 마이크로소프트는 내년 1분기에 Azure Active Directory를 통해 홀로렌즈를 사용해 Skype와 유사한 원격 교육 기능을 제공할 예정이다. 또한 홀로렌즈 MR 헤드셋 차기 버전(HoloLens 2로 알려짐)은 인공지능(AI) 칩을 탑재한다. 그러면 데이터 처리를 클라우드가 아닌 로컬에서 수행할 수 있게 된다.
 
캐논의 엠리얼(MREAL)은 제조 현장에 활용할 수 있는 업무용 MR 제품이다. 자동차 제조 및 설계 분야에서 설계 데이터를 실물 크기의 3D 영상으로 인식하고 실물 출력 없이 확인해 비용 절감 등 다양한 혜택을 제공한다. 엠리얼은 디스플레이, 기반 소프트웨어 플랫폼, 각종 센서를 결합했다.
 
래티스테크놀로지(Lattice Technology)는 캐논의 엠리얼 시스템과 자체 개발한 3D 데이터 포맷 XVL을 조합한 ‘XVL Studio Hybrid for MREAL’을 제공한다. 기존의 3D CAD 데이터는 자동차 한 대 분을 표시하는데 약 20 GB의 대용량이 필요하지만, XVL에 의해 약 100분의 1까지 압축할 수 있다.

 
 




MR을 활용하면, 디자이너 및 엔지니어 팀은 가상 세계에서 변경 사항을 신속하게 모델링 할 수 있다.
BMW는 자동차 메이커로는 일찍부터 MR 시스템을 새로운 차량 모델 개발에 도입한 회사다. 회사는 2015년 가을부터 HTC Vive 개발자 키트를 시험 프로젝트에 사용했다. 이 헤드셋의 핵심 부품은 두 개의 고해상도 스크린과 레이저 기반 트래킹 시스템이다. BMW는 에픽게임즈의 언리얼 엔진(Unreal Engine) 4를 사용하고 있다. 이 엔진은 실사 같은 품질로 매 초당 90프레임의 안정된 랜더링을 수행할 수 있다.

BMW는 또 언리얼 엔진의 실시간 물리 기반 렌더링 엔진을 사용해 인테리어 디자인과 차량 기능 등의 디자인 옵션을 탐색하고 있다. VR를 활용해 엔지니어는 주변을 한눈에 볼 수 있는 각도와 좌석 위치에 따라 닿지 않는 스위치, 디스플레이 또는 사각지대 등의 잠재적인 문제를 확인한다.
 


2013년경부터 사내에 MR를 활용해온 토요타는 올해 안에 가상현실을 이용한 원격지 3D 차량 정보 공유 시스템의 실증 실험을 개시한다. 토요타는 지리적으로 멀리 떨어져 있는 직원들이 가상공간에서 실물 크기의 차량 모델을 공유하고 소통할 수 있는 원격지원 3D 차량 정보 공유 시스템의 프로토타입을 덴츠국제정보시스템(ISID)과 공동 개발했다.
토요타는 자동차 조립 및 설비 보전, 생산 준비, 공장을 중심으로 MR 활용을 확대하고 있다. 특히 인체공학적 평가 기능을 강화하고 체격이 다른 서양인을 대상으로 한 원격 검토 등에 MR을 적용할 계획이다.
 
마쯔다는 2015년 3월 MR 기술을 이용한 도장 시뮬레이션 시스템을 도입했다. 여기에는 ISID의 3D 데이터 활용 노하우가 녹아 있다. 마쯔다의 새로운 브랜드 컬러인 ‘소울 레드 프리미엄 메탈릭(soul red premium metallic)’은 마치 땅속에 흐르는 마그마가 결정화한 것처럼 투명감을 띄고 있다. 마쯔다는 기존엔 실용화가 어려웠던 도막 구성에서 선명한 발색과 깊은 음영을 실현했다. 소울 레드처럼 발색이 복잡한 색상은 도장 공정에 큰 도전을 요구한다. 마쯔다에 따르면, 디자이너의 생각대로 색상을 만들어내기 위해서는 장인이 13회에 걸쳐 덧칠한 미묘한 색조를 양산 공정에서 실현해야 한다.


 
 
이를 위해서는 미크론 단위의 두께 제어가 요구된다. 사실상 미크론 단위의 정밀도를 유지하기란 쉽지 않다. 도장 로봇의 움직임과 분사 속도, 각도, 바디와의 거리 등의 미묘한 차이에 따라 도장 두께와 색상이 달라지기 때문이다. 따라서 사람과 로봇에 의한 두 도장 공정 설계 프로세스에 도장 품질을 정밀하게 예측하는 기술이 필요했다.
 
마쯔다가 도입한 시스템은 모션 센서가 달린 스프레이건에 프로젝터와 편광 안경 등을 조합, 도장 과정을 실시간으로 시각화한다. 자동차의 도장면은 복잡한 형상이 많기 때문에 시뮬레이션 계산량이 많아 실시간 시각화가 어려운 편에 속한다.
복잡한 자동차 도장에 MR 기술을 적용하기 위해서 ISID는 아사히전자와 공동으로 도장막 두께의 계산 알고리즘을 개선해 로봇 도장 프로그램 데이터와 차량 부품의 3D 설계 데이터를 연계하는 인터페이스를 개발했다. 또한 시각화 장치로 캐논의 엠리얼을 채택해 도장 결과를 HMD에 생생한 3D 영상으로 평가하는 구조를 실현했다.
 
이렇게 완성된 시스템은 로봇 도장과 사람에 의한 도장 두 공정에서 도장면의 두께 분포를 실시간 3D 시각화하는 동시에 두께와 도장 시간 등을 수치적으로 평가하는 것을 가능하게 했다. 즉 그동안 예측이 곤란했던 사람에 의한 도장 품질을 높은 정밀도로 예측할 수 있게 되었으며, 실물 크기의 3D 형상으로 관련 부서와 공유할 수 있게 됐다. 그 결과 서로의 의도를 확인하고 신속하게 설계/검증 사이클을 돌려 디자이너가 추구하는 조형과 그것을 돋보이게 하는 도장 공정을 동시에 설계할 수 있게 됐다.
 
2016년에 포드 디어본 스튜디오(Ford Dearborn Studio) 직원들은 마이크로소프트와 함께 홀로렌즈 개념 증명 테스트를 진행했다. 포드의 수천 가지 디자인 결정을 내리는 디자이너의 작업 흐름을 개선하기 위해서였다.
 
포드 디자이너들은 이 도구를 활용해 가상 세계에서 차량 부품을 보고, 편집하고, 협력한다. 홀로렌즈는 실제 차량을 배경으로, 제안된 설계 변경 사항을 함께 보면서 수정할 수 있다. 공동작업자들은 서로 다른 시간대에 작업하는 팀원들에게 피드백을 제공할 수 있는 가상현실 ‘스티커 메모(sticky notes)’도 남길 수 있다. 이 기술은 자동차 회사가 변경 사항을 검토하고 논의하는 데 걸리는 시간을 단축시켜 줄 것이다. 또한 디자이너와 엔지니어 간의 몰입적 상호작용(Immersive interaction)을 가능하게 한다.
 
홀로렌즈는 팀 전체가 공동 작업을 가능하게 하고, 아이디어를 공유하며 경험할 수 있게 한다. 가상 모델과 실제 모델을 결합하는 점이 흥미롭다. 왜냐하면 디자이너와 엔지니어가 효과적으로 의사소통을 하고 최종 결과물을 프로세스 초기에 파악할 수 있도록 도와주기 때문이다. 이것은 프로토타입을 만들거나 변경하는 방식에 큰 자유도와 효율성을 부여한다.
 
홀로렌즈는 프로세스 전반에 걸쳐 시간을 절약하고 공동 작업을 향상시킬 수 있을 뿐만 아니라, 모든 사람이 운전자의 시선으로 세상을 볼 수 있도록 도와준다. 예를 들어, 사이드미러를 변경하면, 미적인 요소와 실용적인 요소가 모두 변경된다. 홀로렌즈 기술은 사이드미러에 대한 변경된 제안이 어떻게 보이고 운전자에게 어떤 영향을 미치게 될지 보여준다.
 
홀로렌즈는 포드가 특허 정보를 보존하는 데도 도움을 준다. 디자인 유출 우려 때문에 엔지니어가 전체 모델 디자인을 보지 않고 자동차 부품을 개발하는 경우가 많았다. 홀로렌즈를 이용하면, 데이터에 접근하는 사람을 관리할 수 있어 민감한 도면을 안전하게 지킬 수 있다.
 

 
포드는 홀로렌즈용 맞춤형 시각화 소프트웨어를 개발하기 위해 마이크로소프트와 긴밀히 협력하고 있다. 지난 9월엔 신형 자동차 개발을 위한 디자인 부문에 홀로렌즈를 전 세계적으로 도입했음을 발표했다. 15년 이상 가상 기술에 막대한 투자를 해온 포드는 홀로렌즈의 활용 가능성을 가장 잘 보여주는 회사다. 이 회사는 현재 MR 기술을 활용해 엔지니어링 개발 프로세스를 지원할 수 있는 추가 기회를 찾고 있다.
 
볼보도 마이크로소프트와 MR을 활용한 쇼룸 및 차세대 자동차 기술을 개발하고 있다.
시장조사업체인 가트너는 대기업의 20%가 2019년까지 일정 형태의 몰입형 혼합현실, 증강현실, 가상현실 기술을 도입할 것으로 전망했다. 또한 2020년까지 전 세계 글로벌 대기업의 50%가 HMD를 테스트하거나 도입할 것으로 내다봤다. IT 전문 조사회사인 IDC는 세계 AR+VR 시장이 2016년~2021까지 연평균 113%로 급성장해 2021년에 2,150억 달러에 이를 것으로 예측했다.
 
새로운 문화


자동차 산업은 규모, 전후방 산업, 국제적 영향력 측면에서 파급력이 엄청나다. 20세기 산업을 통틀어 인류문화에 가장 큰 변화를 가져온 자동차 산업은 금세기에 혁신의 최전선에 서 있다. MR은 혁신을 추구하는 제조 산업 및 소비자와 직접 만나는(consumer facing) 산업에 엄청난 잠재력을 제공하게 될 것이다.
 
자동차 업계는 새로운 경쟁 환경에 적응해야 하고 전기차 및 자율주행 차량과 같은 급진적인 도전을 준비해야 한다. 자동차 업계가 아직 위기에 처하지는 않았지만, 많은 제조사들의 이익은 압박받고 있으며 마진이 줄어들면서 역사상 가장 중요한 지점에 서 있다. PwC의 ‘2017 Automotive Trends’ 보고서는 이 위기 지점에서 두각을 나타내며 부상하게 될 자동차 회사는 “독창적인 방법으로 제한된 자본 자원을 활용해 여전히 상승탄력을 받고 있거나 낯선 풍경을 탐색하는 회사들”이 될 것이라고 지적했다.
 
MR은 이러한 창조적 혁신에 기여할 수 있으며, 제조업체들이 균형을 바로잡고 프로세스의 모든 측면에서 혁신할 수 있는 기회를 제공할 것이다. 자동차 산업에서는 협업 디자인, 제조 효율, 소비자 참여, 원격 수리 등 자동차 라이프 사이클의 모든 단계에서 활용될 수 있다. 상용 및 소비자 도구로 사용될 수 있는 MR은 자동차 산업에 혁신적인 도약을 가져올 수 있다. MR를 채택하는 회사가 꾸준히 늘고 있는 이유가 여기에 있다.

---

AEM_Automotive Electronics Magazine