카메라 기반 인식기술, AI 부문의 유니콘 스타트업 센스타임이 ‘Automotive World 2020’에서 그들의 운전자 모니터링 시스템의 로드맵을 밝혔다. 2026년 레벨 4 자율주행을 목표로 DMS와 ADAS 애플리케이션을 고도화하고 있다.

글│한상민 기자 _ han@autoelectronics.co.kr

 

 

센스타임 재팬이 1월 15일부터 사흘간 도쿄 빅사이트에서 개최된 ‘오토모티브 월드 2020(Automotive World 2020)’의 카 일렉트로닉스 기술전에 출전해 그들의 안면인식 기술을 활용한, 더욱 업그레이드된 ‘센스 드라이브 DMS’, ‘페이스 엔트리(Face Entry)’ 차량 도어 액세스 시스템, 그리고 자세 및 제스처 인식기술을 이용한 ‘액션 인터페이스(Action Interface)’ 차량 제어 시스템을 소개했다.

센스타임은 전 세계적으로 가장 높은 가치를 보유한 AI 및 안면인식 기술 유니콘 스타트업이다. 2014년 처음 딥러닝을 이용한 안면인식 기술로 모바일폰을 언락하는 기능을 상용화하는 등 스마트시티, 모바일폰 등 다양한 산업과 업종에서, 다양한 기능성으로 기술을 보급해왔고 정확도를 지속적으로 개선해 왔다. 세계적으로 4억 대 이상의 스마트폰이 센스타임의 AI 알고리즘을 탑재하고 있다.


2026 예방안전 PMS

자동차 시장에서는 스마트폰 등에서의 카메라 기반 환경, 안면인식과 같은 기술 성과를 바탕으로 2018년부터 첨단 운전자 지원 시스템(ADAS), 운전자 모니터링 시스템(DMS)을 개발, 공급하고 있으며 2026년 레벨 4 자율주행을 목표로 이 DMS, ADAS 애플리케이션을 고도화하고 있다. 특히, 2017년 혼다와 레벨 4 자율주행 기술을 공동개발하기 위한 전략적 협력 계약을 체결했고, 이어 콕핏 부문에서 비스테온과도 전략적 제휴를 맺으며 자동차 산업에서 입지를 다졌다. 이 밖에 캐딜락과도 협업 중이다.

센스타임 재팬의 관계자는 “2024년까지 에어백 기능 등을 추가한 다기능 탑승자 모니터링 시스템(PMS)을 출시하고 2026년까지는 차량 외부의 센싱 기능과 내부의 PMS를 통합한 다기능 예방안전 PMS 시스템을 출시할 계획”이라고 밝혔다.

센스타임의 ‘센스 드라이브 DMS’ 솔루션은 안면인식을 통해 전방 주시, 피로도 감지와 제스처 감지 등을 포함한 차량용 운전자 모니터링 시스템이다. ADAS에서의 졸음방지, 레벨 3 자율주행 시 위험 상황에서의 운전 제어권 반환 등 주행안전을 목표로 개발됐다. 이미 수백만 대 규모의 수주 계약도 따냈다. 2022년으로 예정된 차세대 버전의 경우엔 기존의 주행안전성 외에 HVAC, 오디오 시스템, 시트 포지션 등의 자동 세팅, 제어 등 편의 기능을 포함한 다기능 DMS 시스템이 될 예정이다.



센스타임의 카메라 인식 기술은 안면인식, 게이즈 트래킹, 아이 트래킹, 헤드 트래킹, 제스처 감지 등을 통해 다양한 기능을 가능하게 할 수 있다. 또한 대상의 나이, 성별, 감정상태까지 인식할 수 있어 엔터테인먼트, 드라이버 어시스턴트 등과 연결되는 새로운 가능성을 제시한다.


센스타임의 안면인식 기술은 다양한 애플리케이션에 응용될 수 있다. 얼굴 인증을 통해 신분을 확인하고 도어를 자동으로 오픈하는 페이스 엔트리(Face Entry) 기능은 물론, 해당 운전자에 맞게 미리 설정된 차량 세팅을 자동화할 수 있다. 안면인식, 게이즈 트래킹, 아이 트래킹, 헤드 트래킹을 통해 운전자의 피로, 졸음 여부, 전방도로를 주시하고 있는지, 어디를 주시하고 있는지 뿐만 아니라 나이, 성별, 감정상태까지 인식할 수 있어 엔터테인먼트, 드라이버 어시스턴트 등과 연결돼 다양한 기능을 가능케 한다. 예를 들어, 운전자가 어디를 보고 있는지 알 수 있기 때문에 운전자가 콕핏 내 특정 HMI를 주시하면 이것이 하이라이트 되면서 정보가 디스플레이될 수 있다.



센스타임 DMS 로드맵. 2024년까지 에어백 기능 등을 추가한 다기능 탑승자 모니터링 시스템(PMS)을 출시하고 2026년까지는 차량 외부의 센싱 기능과 내부의 PMS를 통합한 다기능 예방안전 PMS 시스템을 출시할 계획이다.


카메라 기반 자율주행

한편, 센스타임의 카메라 기반 ADAS, 자율주행 시스템인 센스 드라이브는 다양한 모듈로 제공된다. 특히, 대부분 업체들이 센서 세트와 고정밀 지도를 함께 이용하는데, 센스타임은 주로 비주얼 인지 모델에 의존하는 자율주행을 추구한다. 이 인지 모듈은 14개의 서로 다른 차선을 인식할 수 있을 뿐만 아니라 라이팅 조건, 가림(occlusion), 날씨와 상관없이 서로 다른 모양의 차선, 횡단보도, 도로표지판 등을 인식할 수 있다. 딥러닝을 활용함으로써 악조건에서도 이런 기능이 가능해진다는 설명이다. 객체 감지 모듈은 보행자, 바이커, 차량, 기타 장애물을 감지할 뿐만 아니라 보행자의 머리나 몸의 방향과 같은 오브젝트의 특성을 파악하고 의도를 읽을 수 있다. 이에 따른 결정 모듈은 리스크를 예측, 분석해 자율주행차의 경로를 선택하고 안전하게 자동제어할 수 있다.

센스타임의 기술 원천은 AI다. 센스타임의 모든 AI 연구는 수퍼컴퓨팅 클러스터를 통해 진행된다. 12개 GPU 클러스터가 중국, 일본, 싱가포르 등지에 구축돼 자율주행, 스마트시티 연구를 뒷받침하고 있다. GPU 수는 1만 5,000개 이상이고 이에 따른 연산처리 능력은 160페타플롭 이상이다.

센스타임은 이 수퍼컴퓨팅 인프라를 기반으로 자체 딥러닝 프레임워크를 구축했다. 대부분 업체가 구글, 페이스북, 텐센트 등 오픈소프 소프트웨어를 기반으로 AI 연구를 수행하지만, 센스타임은 센스패럿(SenseParrots)이라 부르는 독자적인 딥러닝 플랫폼을 만들어 코드 레벨부터 모든 것을 자체적으로 한다. 이를 통해 1,000개 이상 레이어에 뉴럴 네트워크를 구축할 수 있다. 이것은 오픈소스 프레임워크에서는 불가능한 규모다. 센스타임은 자체 툴 체인을 이용해 신속하게 AI 알고리즘, 딥러닝 모듈을 업데이트하고 제품에 적용할 수 있도록 하고 있다.