eyeSight Gideon Shmuel 아이사이트 기디언 슈무엘 CEO
1월 도쿄서 개최된 Automotive World 2017에서 운전자 모니터링 시스템과 제스처 컨트롤을 통합 제공하는 이스라엘의 임베디드 컴퓨터 비전 솔루션 전문기업 아이사이트의 기디언 슈무엘 CEO를 만났다.
 
 
Q. 독자들에게 아이사이트를 소개해주시지요.
A. 아이사이트(eyeSight)는 다양한 산업, 기기들에 센싱 기능과 제스처 인식기술을 가능하게 하는 임베디드 컴퓨터 비전 솔루션을 제공하는 선도 기업입니다.

아이사이트의 기술은 가정, 자동차, 기타 가전기기와의 일상적인 소통과 삶의 방식을 향상시킵니다. 회사는 2006년부터 전 세계 수백만 대의 장치에 통합돼 온 시장의 선도적인 솔루션을 개발하기 위한 연구개발 투자를 시작했습니다. 기술은 2011년부터 소비자들에게 제공되는 다양한 기기에 내장됐는데, 예를 들면 하이신(Hisense), TCL, 필립스 등의 TV, 레노버와 도시바 등의 PC에 통합됐습니다. 또 오포(OPPO) 스마트폰도 저희 기술을 바탕으로 합니다.

지난 몇 년 동안 시장의 수요가 바뀌고 있습니다. 우리는 IoT와 스마트홈 공간뿐 아니라 이제는 차량 내 환경에서도 큰 가능성을 보고 있습니다. 수년간의 경험과 R&D를 통해 우리는 더욱 제품을 업그레이드하고 맞춤화해 가정과 자동차에 제공하고 있습니다. 아이사이트는 카 OEM과 차 내 감지 솔루션을 개발하고 있고, 티어1 시스템 프로바이더를 통해 더 큰 시장을 보고 있습니다.

아이사이트는 스마트홈 시장에서 싱글큐(singlecue)라 불리는 스탠드얼론 IoT 및 스마트폼 솔루션을 통해 전 세계 수많은 가정에 컴퓨터 비전 기능을 제공하고 있습니다. 이 싱글큐는 제스처 컨트롤로 기존의 스마트홈 장치를 손가락 하나만으로 터치 없이 제어할 수 있도록 합니다. 우리는 또 사용자 존재, 행동 인식, 제스처 기반 제어에 이르는 모든 것을 트래킹하는 센서와 스마트홈, IoT를 위한 소프트웨어 기술 형태의 B2B 솔루션도 제공합니다.
 
 

 
시선 기반 제어
Q. 차량용 아이사이트 솔루션은 상당히 종합적인 솔루션으로 그동안 봐온 것과 차별화되는 것 같습니다. 다양한 기능이 가능한데 이를 좀 소개해주시면 좋겠습니다.
A. 아이사이트로 가능한 차량 기능을 나열하면 우선 ▶운전부주의 감지(Driver distraction) ▶졸음 감지(Drowsiness) ▶개인화(Personalization) ▶시선 기반 제어(Gaze based control) ▶제스처 컨트롤(Gesture control)이 있습니다. 또 ▶인구통계학적 지원(Demographics) ▶운전자 의도 예측(Driver intention) ▶동공 감지 음주운전 감지(Driving under influence) 등이 있습니다. 앞의 5가지는 현재 통합 가능한 기능이고, 나머지 3가지 기능은 조만간 출시될 것들입니다.

운전부주의 감지는 운전자의 시선 벡터와 머리 자세와 같은 요소를 추적하고 컴퓨터 비전 기술, 다양한 알고리즘을 이용해 운전자의 시선이 도로 위에 있는지, 차 내의 다른 영역을 보고 있는지 등을 판단할 수 있습니다. 이 정보를 토대로 진동이나 소리로 운전자에게 위험 경고를 보낸다거나 차량에 신속한 제동 준비를 하도록 하거나 적응형 순항제어 시스템의 차 간 거리를 늘리는 등의 조치를 취할 수 있습니다.

졸음 감지는 운전자 머리의 포즈와 눈꺼풀을 추적해 졸음 여부를 판단합니다. 이럴 경우 시스템은 다른 차량 시스템과의 통합 여부에 따라 자동적으로 경고를 줄 수 있고, 친구나 가족 등을 통해 경고 상태를 알릴 수 있습니다.

개인화 기능에는 안면 분석 및 인식기술이 활용됩니다. 이를 통해 시스템은 시트, 미러 조정을 포함해 운전자의 개인설정, 선호사항을 적용할 수 있도록 합니다. 선호하는 연락처, 라디오 채널, 목적지, 날씨나 볼륨 설정 등은 물론, 운전부주의나 졸음 감지와 같은 다른 비전 기반 시스템의 성능을 이용해 특정 운전자의 습관이나 외양도 배우고 익힐 수 있습니다.

최근의 차량은 다양한 정보를 제공하기 위해 메인 인스트루먼트 클러스터 외에도 헤드 업 디스플레이와 같은 2, 3차 디스플레이, 센터 콘솔에도 더 많은 디스플레이를 추가하고 많은 정보를 제공하려 하고 있습니다. 이런 여러 디스플레이에서 정보를 보거나 기능을 안전하게 작동시키기 위해서는 스티어링 휠에서 제공할 수 있는 버튼 및 방향 패드 수의 물리적인 제약과 같은 문제를 극복해야만 합니다.

이때 아이사이트의 시선 기반 제어 기능을 이용하면 운전자가 보고 있는 관심 영역이 감지될 때에 스티어링 휠의 단일 제어장치로 운전자가 항상 자연스럽게 바라보는 것을 제어할 수 있습니다. 이 제어의 수준은 인스트루먼트 클러스터의 좌측과 우측의 2개의 관심 영역으로 확장시켜 추가적인 맞춤 설정 및 제어도 할 수 있습니다. 시선 기반 제어는 윈드실드가 도로나 건물, 랜드마크 위에 관련 정보를 표시하는 증강현실(AR) 디스플레이에서 더욱 더 중요할 것입니다.

제스처 컨트롤은 터치스크린이 확산되면서 더욱 유연한 인터페이스를 제공합니다. 그러나 이런 유연성은 레이아웃과 기능이 계속 변경돼 운전자가 도로에서 주의를 돌리고 인포테인먼트 화면을 볼 것을 요구하기도 합니다. 이때 특정 자세나 짧은 동작에 기반한 제스처는 보지 않고, 정확하지 않아도 계기판이나 인포테인먼트 시스템의 일반적인 영역에서 기능을 수행할 수 있게 해 운전자의 시선이 분산되지 않도록 해줍니다.
 
 
개인화, 운전자 의도 예측
Q. 추가될 3가지 기능은 어떤 것들입니까?
A. 인구통계학적 지원 기능은 통계학적 목적으로 안면 특징 분석 기능을 이용해 운전자의 연령 범위, 성별을 판단할 수 있을 뿐만 아니라 이에 상응하는 추천, 정보를 제공할 수 있습니다.

또 운전자는 특정 행동을 취하기 전에 다양한 시각적 징후를 나타내는데, 시스템은 이를 인식해서 운전자 의도를 예측할 수 있습니다. 이런 신호는 차선이탈, 선회, 제동 등을 예측해 경보를 발령하거나 조치를 취할 때에 다른 시스템에 의미 있는 정보를 제공하는 데 사용될 수 있습니다. 예를 들어, 운전자가 신호를 보내지 않고 의도적으로 차선을 벗어나면 차선이탈 경고를 제공할 이유가 없고 조향을 수정해 차를 궤도 중앙으로 되돌릴 필요도 없습니다.

운전자의 의도와 관련된 이같은 데이터의 중요성은 최근 시스템의 빈번하고 불필요한 경고 때문에 오히려 사용자가 시스템을 끄는 현실을 생각할 때 더욱 중요하게 다가옵니다. 운전자 의도 데이터는 안전 시스템의 오작동을 감소시켜 운전자의 신념과 이런 시스템을 사용하려는 의지를 북돋을 것입니다.

아이사이트의 음주운전 감지 기능은 동공 크기를 측정 평가해 음주운전 여부를 판별합니다. 이 정보는 운전자가 시동을 걸지 못하도록 시스템을 잠그거나 운전자 또는 친척이나 친구, 보험사에 자동으로 전화를 거는 등으로 경고할 수 있습니다.
 

 
Q. 아이사이트의 기능과 특징을 고려하면 자율주행 시대에 대한 기대가 크겠습니다.
A. 자율주행은 아이사이트가 지원하길 고대하는 영역입니다. 무엇보다 운전석에 운전자가 있어야 하고 상황에 따라 운전자가 제어권을 넘겨 받아야하는 하이브리드 단계에 주목하고 있습니다. 이 단계에서는 핸즈 오프의 순간이 갖는 잠재적인 위험이 존재하는데, 이는 차가 운전자의 통제 능력을 확인한 후에만 완화될 수 있습니다. 운전자가 정신적으로 준비가 돼 있지 않은 상황에서 통제권을 주게 되면 매우 위험해질 것입니다.

아이사이트의 운전자 식별은 두 가지 단계에서 운전자 경험의 개인화를 부여합니다. 첫째는 플레이 리스트, 콘텐츠와 같은 개인의 선호사항, 시트와 미러 등의 세팅, 자주 찾는 내비게이션 목적지와 같은 명확한 애플리케이션입니다. 둘째 단계의 개인화는 운전자의 습관, 시각적 모습에 대한 것입니다. 이는 시스템이 운전자를 배우기 위한 것, 운전부주의나 졸음 감지 시스템에 기반한 다른 비전 퍼포먼스의 미세조정을 위한 것들입니다.

자동차가 완전 자율주행을 할 때에도 아이사이트가 기여할 수 있습니다. 이런 차에서는 탑승자가 편안하게 회전하는 라운지 체어에 몸을 눕히고 있다가도 랜드마크 등 관심 지점에 도착하면 다시 몸을 일으키고 차량 윈도 등에서 증강현실로 반영되는 관심사항과 정보를 터치 프리 제스처를 사용해 이용할 것입니다.

또한 인카 경험의 개인화를 위해 각각의 승객에 대한 식별이 필요할 것입니다. 이를 통해, 예를 들어 차는 우리가 잠든 동안 특정 메시지나 전화로부터 방해받지 않도록 해줄 것입니다.

이런 예는 너무 나아간 것 같지만, 우리는 정말 미래에 지나치게 우대받는, 게으른 승객(?)이 될 것입니다. 우리가 차에서 기대하는 이런 수준의 서비스는 차가 진실되게 우리를 바라보고, 상황을 이해하며, 사람이 하는 것과 같이 할 때에만 가능할 것입니다. 그리고 이것의 핵심은 컴퓨터 비전이 될 것입니다.

인카 경험을 극대화하고 개인화하기 위해 승객 인식을 필요로 할 것이고, 차는 우리의 표정, 표현을 보고 감정과 무드를 이해할 것이며 우리가 누구인지 뿐만 아니라 특별한 상황에서 어떻게 느끼는지를 알고 맞춤화된 경험을 제공할 것입니다. 앰비언트 조명, 콘텐츠 추천, 전화나 메시지의 필터링 등 모든 결정은 탑승자가 누구인지, 그들이 무엇을 어떻게 하고 있는지를 아는 자동차의 능력과 함께 시작될 것입니다.



 
딥러닝 임베디드 시스템
Q. 딥러닝, 머신러닝이 큰 차별 포인트인가요? 혹시 이를 위한 외부 연결성이 필요합니까?
A. 딥러닝은 아이사이트가 컴퓨터 비전 알고리즘을 연마하는 데 사용하는 머신러닝 기술 중 하나입니다. 이 기술은 첨단 기술로 시스템이 시각적으로 인간의 두뇌가 배우는 방식과 유사하게 시각적인 식별을 하고 구별하는 방법을 학습할 수 있도록 하며, 이것이 정확성과 견고성 측면에서 높은 수준의 성능을 보장합니다.

임베디드 방식으로 기기에서 딥러닝 프로세스의 결과물인 신경망을 구현할 수 있는 아이사이트는 시스템 요구사항에 따라 매우 간소화돼 있습니다. 어떤 이미지도 프로세싱을 위해 보낼 필요가 없으며 모든 컴퓨터 비전 프로세싱은 로컬 시스템에서 실시간으로 이루어집니다. 때문에 운전자의 프라이버시와 운전 시나리오에 매우 중요한 즉각적인 프로세싱을 보장합니다.

다시 말하지만, 아이사이트의 컴퓨터 비전 솔루션은 기기에서 로컬로 실행되는 완전 내장형입니다. 고객이나 파트너사가 관심을 갖는 범위 내에서 운전자 인식 기반으로 시스템을 개인화하거나 통계 목적으로 익명 데이터를 공유하고자 한다면 사용자로부터 허가를 받아 성별 및 연령 정보 등을 차량 시스템에 제공할 수 있지만, 이런 것들을 위해 관련 정보를 클라우드에서 유지하지 않습니다.
Q. 하드웨어 구성과 장착 위치 등은 어떻게 됩니까?
A. 자동차 공간에서 아이사이트는 현재 두 가지 타입의 센서와 두 가지 위치에서 작동합니다. 우선 운전자 인식 기능과 기본적인 동작 감지를 위해 인스트루먼트 클러스터에서 적외선 센서를 사용합니다. 이 센서는 운전자의 얼굴에 기반해 피곤함, 졸음을 감지하고 개인화에 대한 인식을 제공하면서 기본적인 움직임을 감지합니다.

두 번째 위치는 제스처 컨트롤을 위한 센터 인포테인먼트 콘솔입니다. 이 위치에서 아이사이트는 적외선 센서를 뛰어넘는 ToF(Time of Flight) 깊이(depth) 센서를 이용하는 기본 세트를 제공할 수 있습니다. 센터 콘솔의 ToF 센서는 운전자와 보조석 탑승자 모두의 터치 프리 인포테인먼트 컨트롤을 제공할 수 있습니다.

아이사이트의 제스처 컨트롤은 오른손과 왼손 동작을 구별화할 수 있는데, 이 말은 운전자나 보조석의 누가 조작하고 있는지를 바로 알 수 있다는 말입니다.

아이사이트는 운전자 인식 적외선 센서를 위해 리어뷰 미러와 같은 추가적인 위치도 고려하고 있습니다.
Q. 운전자 모니터링 기능과 관련해서 경쟁 솔루션들과 차이점은 무엇입니까?
A. 운전자 모니터링을 위한 새로운 접근법은 최근의 기술 향상에서 비롯되고 있습니다. 새로운 딥러닝은 오래된 감지기술을 대체하고 있고, 강력한 CPU는 복잡한 학습을 실시간으로 실행할 수 있게 하며 고해상도 이미지 센서는 높은 정확도를 제공합니다.

아이사이트의 운전자 인식 기능들은 졸음, 운전부주의 감지 기능을 넘어서기 때문에 특별합니다. 말씀드린 것처럼 개인화와 제스처 컨트롤을 제공하고 모든 것을 인스트루먼트 클러스터에 위치한 동일 센서를 통해 지원합니다. 운전자 머리의 자세를 추적 감지하고, 시선 벡터, 눈꺼풀과 개안 정도, 그 밖의 다른 요소들에 대한 컴퓨터 비전 알고리즘을 이용해 운전자가 졸고 있는지, 시선이 도로에 있는지 등과 같은 간소화된 정보를 받는 로직 레이어를 통해 데이터를 해석합니다.
 
원스톱 숍 솔루션

 
Q. 이같은 특징은 제스처 컨트롤도 마찬가지일 것 같습니다만.
A. 원래 아이사이트는 10여년 전 모바일 기기용 제스처 컨트롤 기능에 초점을 맞춰 창립한 회사입니다. 제한된 시스템 리소스를 제공하는 모바일 플랫폼의 한계와 모바일 환경의 끊임없는 변화에 대응하는, 시스템 요구 사항에 대한 최소의 접근과 복잡한 환경에 대응하는 높은 수준의 견고성이 아이사이트의 DNA로 깊이 자리잡고 있습니다. 이 두 가지의 접근 방식이 이미 기기에 장착돼 있는 카메라를 활용하는 임베디드 시스템에 이상적인 아이사이트의 소프트웨어 전용 솔루션을 가능하게 했습니다. 또 우리는 동일 센서로 제스처 컨트롤과 사용자 인식과 같은 멀티 솔루션을 제공하는 법을 배웠습니다.

지난 10년 동안 아이사이트의 전문지식은 소프트웨어에서 하드웨어에 대한 지식과 경험(시스템 최적화, 하드웨어 가속 및 카메라 인증)으로 확장되면서 발전했습니다. 회사의 핵심 소프트웨어 솔루션이 본래 플랫폼과 카메라에 독립적이기 때문에 컴포넌트의 선택, 특히 카메라에 대한 기회를 갖게 됨으로써 우리는 최고 수준의 성능을 보장할 수 있게 됐습니다. 아이사이트는 경험을 통해 고객들이 대체로 엔드 투 엔드 솔루션을 선호한다는 것을 알았고, 따라서 하드웨어 플러스 소프트웨어 솔루션으로 고객에게 제공하는 자체적인 컴퓨터 비전 최적화 카메라도 개발했습니다.

요약하자면, 아이사이트는 소프트웨어는 물론 하드웨어 전문성과 최적화된 카메라를 모두 갖춘 원스톱 숍으로 제공되는, 높은 견고성과 최소의 시스템 요구 하에서 동일 센서로 제스처 컨트롤과 사용자 인식을 모두 제공하는 매우 특별한 솔루션입니다.
Q. 인카 제스처 컨트롤은 이제 막 시작됐습니다. 소비가전 시장에서의 경험으로 볼 때 어떤 전망을 갖고 있습니까?
A. 인카 제스처는 버튼과 터치스크린처럼 자연스럽고 유비쿼터스하게 될 것입니다.
그러나 일부 사람들의 예상과 달리 저희는 제스처가 최상의 제어 수단이라고 생각하지 않습니다. 버튼, 터치, 마우스, 조이스틱, 음성, 제스처, 그리고 그 어떤 것이든 간에 다른 것들을 완전히 뛰어넘는 인터랙션 방식이란 없습니다. 각각은 그것만의 장점과 단점을 가지고 있고 서로를 보완합니다. 운전자에게 단 한 가지 방식만 제공한다는 것은 마치 저녁 만찬 때 포크만 주는 것과 같습니다. 수저나 나이프 없이도 음식을 먹을 수는 있겠지만 특정 요리 앞에서는 크게 좌절해야할 것입니다.

예를 들어 텍스트 입력을 생각해봅시다. 차의 터치스크린에서의 타이핑은 힘들고 혼란스럽습니다. 음성과 자연어 프로세스를 이용하는 것은 이 경우 훨씬 더 나은 경험입니다. 그러나 음성 또한 한계가 있습니다. 음악 볼륨 컨트롤과 같이 값을 선택하는 반복적인 작업을 생각할 수 있습니다. 잡음이나 강한 억양이 없다고 가정하고 음성으로 볼륨 컨트롤을 한다면, 반복적인 명령은 정말 성가신 일이 될 것입니다. “볼륨 업! 볼륨 업! 볼륨 업!…그만” 이런 식으로 반복하고 완벽한 상태에서 중지 명령을 내리는 힘들 일을 해야 할 것입니다. 물론 “볼륨 10, 볼륨 9”이라고 말하는 것처럼 특정 볼륨 레벨을 명령하는 것을 고려해 볼 수 있습니다만, 이것도 사운드 시스템에 대해 잘 알고 있어야 하고 시행착오를 겪어야 할 것입니다. 그러나 이제는 시스템 앞에서 손가락을 위아래로 움직이기만 하면 됩니다. 손을 오른쪽으로 움직이면 볼륨이 증가하고 왼쪽으로 이동하면 감소합니다. 제스처는 보지 않고 조작하는 능력, 용이함에서 앞섭니다.

요점은 특정 인터랙션 방식이 어떤 유스케이스에서는 빛을 발하지만, 또 다른 경우에서는 다른 방식에 비해 부족하다는 것입니다. 다양한 인터랙션 방식의 조합만이 완벽한 모든 것에 대한 경험을 제공합니다.
Q. 얼마나 다양한 제스처와 애플리케이션이 가능해질까요?
A. 우리의 첨단 알고리즘과 딥러닝 기술 덕분에 아이사이트는 ToF 센서와 동일 시스템에서 최대 10가지 제스처를 지원할 수 있습니다. 분명하게 컴퓨터 비전 전문성을 넘어, 이 점에 있어서의 도전은 하나의 패밀리로서 함께 어울리는 일련의 제스처들을 결합해 사용자가 쉽게 배우고 사용할 수 있게 하는 것입니다. 핵심은 사용자에게 직관적인 제스처를 선택, 매핑된 기능과 관련해 적절한 가격으로 제공하는 것입니다.
Q. 자동차 OEM, 티어1과 제품을 상용화했습니까?
A. 아이사이트는 현재 다수의 프로젝트를 OEM과 티어1 서플라이어들과 진행하고 있습니다. 운전자 모니터링 시스템(DMS)에 대한 관심은 기하급수적으로 높아지고 있습니다. OEM과 서플라이어들은 이제 차량의 주변 환경에만 포커스하지 않고 운전자의 실제 상태에 집중하면서 좀 더 완벽한 운전자 지원 솔루션을 제공하는 차별화에 나서고 있고, 이에 따라 시장도 매우 복잡해지고 있습니다. 이같은 관점, 우리의 활동은 자동차 제조사의 전 범위에 걸쳐 수행되고 있습니다. 이런 종류의 기술 핵심은 운전자에게 안전하고 보장된 환경을 제공하는 것뿐만 아니라 운전자의 전반적인 경험을 향상시키는 것입니다.

오토모티브 뉴스에 따르면, 2020년까지 6,000만 대 이상의 차가 일종의 DMS를 장착할 것이라고 합니다. DMS 시장이 발전하고 OEM과 사용자들이 이같은 솔루션에 익숙해짐에 따라 애플리케이션은 더욱 다양해질 것입니다.

아이사이트는 현재 차세대 DMS 시스템 개발에 박차를 가하고 있습니다. 차세대 DMS 시스템은 OEM을 위한 보다 강력한 솔루션으로 향상된 기능을 제공하고 사용자와는 더욱 긴밀히 소통할 것입니다.

지금은 실내 감지 시스템 분야에 있어서 매우 흥미진진한 시기입니다. 우리는 이 분야의 트렌드를 선도하고 있다는 점을 매우 자랑스럽게 생각합니다.  
 
 
 동영상 링크: https://youtu.be/nBs3K0bsxyc
 

AEM_Automotive Electronics Magazine