1. 토요타는 렉서스 모델에 2006년부터 DMS 시스템을 장착했다. DMS는 사전충돌 방지 시스템(PCS)과도 연결돼 있다.
2. 자동차의 실내는 지속적으로 변화하는 조도, 그림자, 그리고 스티어링 휠 뒤에 장착됨으로써 나타나는 포즈 변화와 가려짐(occlusion) 현상 등으로 광학 성능을 제대로 발휘시키기에 매우 열악한 환경이다. <맨체스터 대학>
눈 깜빡임, 얼굴 방향을 인식해 운전부주의나 졸음운전을 방지하는 운전자 모니터링 시스템이 3D 기술을 통해 ‘인식’ 정확성을 확대해 가고 있다. 토요타는 2세대 운전자 모니터링 시스템을 활용해 인식 정확성을 확대하는 한편, 표정까지 읽어 감정 상태에 따른 반응 속도에 대응된 첨단 운전자 지원 시스템 연계를 꾀하고 있다.


운전자를 모니터
토요타 유럽 R&D센터(TME R&D)는 지난해 벨기에 자벤템 기술 센터에서 ‘2012 세이프티 테크데이’를 개최하고 선행개발 기술 중 하나인 2세대 운전자 모니터링 시스템(Driver Monitoring System, DMS)을 공개했다. 이 3D 페이스트래커(face tracker)는 운전자의 얼굴을 추적하고 나타나는 특징을 해석함으로써 운전부주의나 졸음운전을 경보하는 한편, 기분(mood)을 파악해 운전자의 반응 속도에 따른 경고 시점을 달리하는 등 다양한 방식으로 안전 및 편의 애플리케이션에 응용할 수 있다. 2세대 DMS 개발은 맨체스터 대학과 공동으로 진행되고 있다. 
TME R&D 선행기술 개발 부문의 가브리엘 오스메주리(Gabriel Othmezouri) 선임연구원은 “세이프티 테크데이에서 우리는 누가 봐도 눈길을 사로잡을 기술로 자동차의 미래를 보여주고 싶었다. 토요타는 운전자의 기분을 읽음으로써 미래의 안전 시스템이 더욱 향상될 수 있다고 믿고 있다”고 말했다.
평정심을 유지하고 있는 운전자와 화가 난 운전자는 동일한 상황에 각기 다른 반응 속도를 나타낸다. 화가 나거나 슬픈 운전자는 반응 속도가 느리다. 때문에 안전 시스템도 이에 대응되는 작동이 요구된다. 토요타는 안전 시스템에 ‘기분’에 대한 정보를 추가함으로써 운전자의 상태에 따라 반응을 달리해 더욱 정확한 사전 예방 접근이 가능해 승객, 보행자, 차량 등 전체적인 도로 안전도를 향상시킬 수 있다고 생각한다.   
운전자 상태를 모니터링 하는 기술은 새로운 것이 아니다. 카메라를 이용하는 안면인식(facial recognition)이나 시선을 추적하는 아이트래킹(eye tracking) 등의 기술 연구는 이미 10년 이상 된 것이고, 특수차량이나 OEM이 생산하는 상용차, 프리미엄 카에는 일부 기술이 적용돼 피로, 졸음과 관련한 사고 예방에 활용되고 있다.
예를 들어 일본은 다른 어떤 국가, 기업, 학계에도 뒤지지 않는 DMS 연구 내력과 성과를 보유하고 있는데, 2009년 도시바가 발표한 아이컨트롤(eye control) 콘셉트는 머리 움직임, 시선 방향, 눈 깜빡임 패턴을 감지하기 위해 눈동자와 안면 방향을 추적하는 카메라를 스티어링 휠 위에 장착했다. 복잡한 알고리즘을 통해 카메라에 포착된 안면 이미지 데이터베이스, 운전자의 움직임으로 운전자의 의도를 파악하려 했다. 도시바의 연구는 당시 대부분의 연구처럼 게으른 운전자를 위해 라디오 선국이나 내비게이션 조작 등을 자동화하는 방법에 가까웠다. 자동차 부문에서는 토요타가 렉서스 일부 모델에 2006년부터 DMS 시스템을 장착했다. DMS는 사전충돌 방지 시스템(PCS)과도 연결돼 있다.
자동차 업계에서는 무엇보다 페이스트래킹, 아이트래킹이 지닌 자동차 환경에서의 시스템적 한계를 뛰어넘기 위한 노력이 활발히 전개됐다. 예를 들어 자동차 실내는 끊임없이  변하는 조도, 그림자는 물론 스티어링 휠 뒤에 카메라가 장착됨으로써 나타나는 포즈 변화와 가려짐(occlusion) 현상으로 인해 광학 성능이 제대로 발휘되기 힘들다.
238개 포인트
2006년부터 렉서스 LX 460 등의 모델에 DMS을 적용한 토요타의 연구 이력은 2001년으로 거슬러 올라간다. 토요타 시스템은 CCD 카메라를 스티어링 컬럼 위에 6개의 적외선 카메라와 함께 장착해 낮과 밤 모두에서 작동할 수 있도록 한 것이 특징이다. 시동을 켜면 센서는 코, 입을 포함한 운전자 안면의 특징과 얼굴의 중앙선ㆍ폭을 파악해 좌우를 돌아보는 운전자의 머리를 추적하고 매핑한다. 기본적으로 운전자의 얼굴이 카메라의 가시선 내에 명확하게 놓이면 운전자의 시트 내 위치, 얼굴 특징, 선글라스 착용 여부와 관계없이 비교적 정확한 기능을 수행한다.
토요타는 현재 맨체스터 대학 바이오메디컬 엔지니어링 이미지 사이언스 부문 연구원들과 좀 다른 방식으로 2세대 시스템을 개발하고 있다. 1세대 시스템은 2D 헤드(head) 모델을 이용했지만 2세대는 sparse 3D 모델을 이용한다.
이 3D 모델은 238개 포인트(vertice), 900여개의 메시(mesh)를 통해 만들어진다. 각각의 메시는 개별 사진의 마크업(markup)으로부터 만들어지는데, 이는 다른 시스템 대부분이 범위 데이터(range data)로부터 모델을 만드는 것과 다른 방식이다. 토요타의 제네릭 메시(generic mesh)는 각 마크업에 맞춰 구부려지고 이에 따라 포인트가 자동적으로 세트에 일치된다.
자벤템 기술 센터 선행기술 연구개발 부문의 조나스 A. 매드슨(Jonas A. Madsen) 선임연구원은 “토요타의 1세대 DMS는 운전자가 정면을 보는지, 좌우를 보는지 정도를 인식하는 수준이지만, 이제 3D 프로토타입 모델을 통해 그 이상의 가능성을 창조할 것”이라며 “다른 시스템과 비교해 2세대 DMS는 얼굴을 추적하는 데 238개의 매우 많은 포인트를 찍으며, 이를 통해 입 꼬리, 눈썹, 눈 꼬리와 같은 매우 디테일한 변화를 추적하고 특징을 분석할 수 있다”고 말했다. 예를 들어 덴소의 시스템은 17개 포인트를 통해 분석한다.
토요타의 2세대 DMS 시스템은 얼굴 방향, 광학적 각도 등의 추가적 요소를 포함해 화난, 슬픈, 기쁜, 평온한 등 운전자의 감정에 대한 정보까지 추출해낸다. 빛과 관련해서는 눈썹에서보다 눈 꼬리에서 뚜렷하게 변화하는 밝기처럼 다양한 패턴 변화도 찾아내 분석 정확도를 높이는 데 활용한다. 이 경우 작업은 전체 3D 페이스 모델을 생성하기 위한 안면부와 프로파일 뷰를 통해 진행된다.
광범위한 연령대, 성별, 인종에 따른 인식 문제를 해결하도록 돕는 수백 개의 서브젝트는 유니버셜 메시(universal mesh)를 만드는 프로세스를 거친다. 3D 모델 텍스쳐(texture)는 913개의 서브젝트로부터 생성돼 모델에 반영된다. 현재는 평범한 텍스처가 적용되고 있지만 연구원들은 향후 미세 조정을 가능케 하는 텍스처 변화(texture variation)가 이 영역에서 이뤄질 것으로 보고 있다.


감정을 읽다
최종적으로 3D 모델은 리얼리즘 요소를 추가하기 위한 몇몇 최적화 작업을 거치며 3D 모델로 가능해진 우수한 디테일은 종전의 2D DMS이 지닌 도전과제를 극복할 수 있도록 한다.
2세대 3D 시스템에서 스티어링 휠 또는 운전자의 손에 의한 가려짐 현상, 햇빛에 따른 강한 그림자, 사각지대를 보기 위한 과도한 머리 회전 등에 따른 인식의 문제는 더 이상 걱정거리가 아니다. 2D 시스템은 화각 내에서 왜 얼굴이 사라졌는지를 컴퓨팅 할 수 없었지만, 3D 시스템은 이같은 상황에서도 트래킹 할 수 있다. 2세대 DMS는 3D 모델 내 알고리즘을 통해 얼굴의 어디에 다른 포인트가 있어야 하는지를 컴퓨팅 하고 238개의 포인트를 볼 수 있도록 한다. 2D 모델은 운전자가 머리를 특정 방향으로 돌리고 다른 방향으로 50도가 되면 30도에서 동작이 정지됐지만, 3D 모델에서는 90도에서 90도까지 트래킹 한다.
3D DMS를 통해 토요타는 미소 짓는, 웃는, 화난 표정 등의 모델링을 시작할 수 있게 됐다. 또 이같은 표정을 매핑하는 동안 토요타는 표정, 운전자의 행동, 실제 무엇을 하고 있는지에 대한 연관성을 테스트하고 신호를 추출했다. 스마트폰을 만지고, 내비게이션을 이용하거나 다른 사람을 주시하는 등의 행동을 인식할 수 있게 된 것이다.
이같은 3D 시스템의 활용성은 자동차 HMI(Human Machine Interaction)에도 혜택을 줄 수 있다. 토요타의 시뮬레이션 결과, 화가 나거나 슬픔에 잠겨있는 운전자는 특정 상황에 대한 반응 속도가 일반적인 상태와 비교할 때 매우 느렸는데, 2세대 시스템을 활용함으로써 이런 운전자들에게 경고신호를 보다 빠르게 보낼 수 있게 된다. 예를 들어 카메라가 운전자의 혼란스런 표정을 인식하면 인식과 정확성, 안전성을 높일 수 있는 특수한 형태로 길안내를 하는 식으로 상황에 따라 최적화된 대응 애플리케이션을 만들 수 있다.
3년은 더 기다려야
2세대 DMS의 기초 연구단계가 완료되려면 최소 2~3년은 기다려야 한다. 또 일부 사안은 6년 이후에나 연구가 개시될 수 있다. 그러나 토요타는 DMS과 같은 졸음운전 방지 시스템이 미래에 반드시 장착돼야 할 기능 중 하나라고 생각한다. 차량 자체에서 운전자 감시 기능을 통해 해결해야 하는 사항, 운전자 지원 시스템이 스스로 작동한다고 해도 해결치 못하거나, 완성도를 높이기 위한 개선의 여지가 있기 때문이다.
눈 깜빡임, 얼굴 방향 등을 인식했던 DMS은 표정을 인식할 수 있는 수준으로 발전하면서 운전자의 행동을 보다 정확하게 추정하고, 다른 시스템과 연계해 좀 더 예측 가능한 기능을 수행하게 될 것이다. 또 다양한 편의 애플리케이션도 창출해낼 것이다. 졸음을 검지해 내비게이션에 가까운 커피숍을 소개하거나, 운전자의 기분을 파악해 적당한 음악을 켜고 공조 시스템을 자동 조정할 수도 있을 것이다.

AEM_Automotive Electronics Magazine