자동차의 청각은 자율주행으로 갈수록 더욱 중요해질 것이다. 전기차 등에는 이미 인공 엔진음이 제공된다. 이제는 더 나아가 뉴로컨트롤스의 뉴로마이크와 같은 자동차를 위한 ‘귀’ 기술이 각광받을 전망이다. 뉴로컨트롤스는 이 기술을 보유한 유일한 회사다.
 
지난호 기사 ‘자동차의 퍼펙트 센스’에서 특히 자율주행 시대로 갈수록 자동차의 청각이 중요해질 것이라고 썼다. 4월 서울에서 만난 인공신경망(neuromorphic) 인지센서(cognitive sensor) 개발 스타트업 ‘뉴로컨트롤즈(Neuro Controls)’의 클레멘스 사우어(Clemens Saur) CEO가 똑같은 이야기를 했다.
“자율주행차는 전기차로 될 가능성이 높고, 소리를 내기 시작한 것이 1단계라면 다음은 자동차가 귀를 갖게 될 것입니다.”
단지 차이점은 뉴로컨트롤즈의 이야기는 인공지능(AI)에 대한 것이고, 좀 더 자동차 자체에 포커스한다는 점이다.
 
뉴로컨트롤즈 
사람과 기계간 통신, 특히 자동차 환경에서 차가 외부세계와 연결된다면 정말 획기적인 수준의 가능성과 성능, 기능이 실현될 것이다. 물론 연결돼 있지 않더라도 인공지능을 통해 그럴 것이다. 예를 들어 아마존의 인공지능 음성 서비스 '알렉사(Alexa)'와 애플의 AI 음성 서비스 '시리(Siri)’, MS의 음성인식 기반 개인비서 서비스 ‘코르타나(Cortana)’나 일상생활의 향상된 편의를 위한 네스트(Nest), 고프로(Gopro), 샤오미 등의 하드웨어가 있다.
이런 것들은 지능적으로 환경과 상호작용하는 인공지능 솔루션을 제공한다.
환경과의 상호작용, 주변을 모니터링하고 피드백하는 데에는 약 1조 개의 센서가 기여할 것이다. 이들 센서 각각이 복잡한 상호작용을 처리할 수 있는 지능을 부여받는다면, 각 센서가 대량의 데이터를 클라우드 서버로 전송하지 않더라도 신호 또는 데이터스트림을 스스로 분류할 수 있을 것이다.
또 보고, 듣고, 느낀 것을 단순한 사람의 언어로 전달할 것이다. 이것이 바로 뉴로컨트롤즈가 개발하는 인공신경망 인지 센서다.
“머신 러닝과 같은 전통적인 인공지능 소프트웨어는 전력소모가 많고 소형화도 어렵습니다. 하지만, 뉴로모픽 칩을 이용하면 작은 뇌가 적은 에너지로 많은 정보를 처리하는 것처럼 할 수 있습니다.” 뉴로컨트롤즈의 레지스 브리그넌(Regis Brignon) 전략책임의 말이다.
뉴로컨트롤즈는 산업, 자동차, 의료 분야에 첨단 인공신경망기술 지식과 전문성, 엔지니어링서비스를 제공한다. 고객의 센서에 인공지능을 통합해 인지 센서를 가능케 한다.
뉴로컨트롤즈는 지난해 초 올렉 메텔리사(Oleg Metelitsa) 박사가 설립했고, 올해 클레멘스 사우어 CEO와 레지스 브리그넌 전략책임이 합류해 독일에 법인을 설립, 사업확대를 추진하고 있다. 사우어 CEO는 16년 동안 지멘스 오토모티브 사업부문에서 근무한 자동차 베테랑으로, VDO가 콘티넨탈에 인수될 때 회사를 나와 자신의 회사를 설립했다. 그는 그동안 만도헬라의 유럽 비즈니스 확장에 기여하는 등 여러 한국회사들과 인연을 맺어왔다. 브리그넌 전략책임 역시 10년간 르노, 르노삼성, 닛산에서, 최근 3년 간 만도헬라 일렉트로닉스 첨단개발 부분 혁신이사로 재임한 자동차 베테랑이자 한국통이다.
회사의 기술력을 대변하는 벨라루스의 수학자 메텔리사 기술책임은 오랫동안 자동차 품질관리 소프트웨어 및 인공지능 개발에 매진해왔다.
뉴로컨트롤즈는 서울을 비롯해 독일 뮌헨, 프랑스 스트라스부르, 벨라루스의 수도 민스크에 법인을 두고 있다. 서울은 의료, 뮌헨은 자동차, 스트라스부르는 철도와 항공, 민스크는 툴과 IT 분야에 특화돼 있다. 전체 직원은 10여명으로 자동차, 의료, 연구, 수학, 비전시스템, FPGA 및 임베디드 제품 개발 전문가들로 구성돼 있다. 한국엔 3명의 직원이 있다.
"뉴로컨트롤즈가 독일에서 시작된 것은 이곳에서 출발해야 유럽, 한국 등지에 혁신적인 솔루션을 제공하기 쉽기 때문입니다. 한국법인의 경우엔 이스라엘과 더불어 한국이 가장 진보한 의료시장인 동시에 자동차에서도 혁신적이고 빠르게 발전하는 지역이기 때문입니다.” 사우어 CEO의 말이다.
 
귀를 갖는 차 
뉴로컨트롤즈는 비전 시스템에 포커스하는 많은 인공지능 스타트업과 달리 사운드시스템에 집중하고 있다. 이들은 레벨(L) 4~5 자율주행 시대로 갈수록 자동차의 사운드 시스템이 더욱 중요해질 것으로 보고 있다.
사우어 CEO는 질문을 던졌다.
“비가 와 노면이 젖었거나 눈이 내렸다면 차는 어떻게 이것을 감지할 수 있을까요, 새벽에 이슬이 내렸다면요?”
이미 자동차는 레인센서(Rain Sensor)는 물론, ESC(Electronic Stability Control)나 ABS(Anti-lock Brake System)와 같은 섀시 시스템에서 슬립(slip, 미끄럼현상) 등을 감지해 노면상태를 인지하고 있다. 그러나 분명히 인식의 시간차가 있고 정확도에도 문제가 있다. 뉴로컨트롤즈의 뉴로마이크(NEUROMIC)는 타이어가 내는 소리를 감지해 노면이 말랐는지, 젖었는지, 눈이 내렸는지 등을 서로 다른 사운드 특성을 즉각적으로 식별하고 정확하게 알아낸다.
“레이스카는 요(yaw), 휠 스피드 센서등을 통해 슬립을 감지하지만 여기에는 지연(delay)이 있습니다. 그러나 소리를 이용하면 이같은 기계적 센서보다 더 빠르게 감지하고 신속하게 대응할 수 있습니다. 우리가 눈, 비, 안개 등에 따라 안전한 차간거리, 속도 등을 달리해 주행하는 것처럼 로봇도 그렇게 해야 할 것이고, 더 빠르고 정확하게 대응해야 할 것입니다.” 사우어 CEO가 말했다.
뉴로마이크는 긴급차량 감지에도 이용된다. 차 내에서 음악을 크게 켜고 운행 중이라면 주변의 긴급차량 사이렌 소리를 듣지 못할 수 있다. 이때 뉴로마이크가 감지하고 시각적 또는 다른 HMI 신호로 운전자에게 알려줄 수 있다. 물론 사이렌 소리가 10시 방향에서 들리는지, 3시 방향에서 들리는지 방향성도 정확히 인지해 경고한다. 긴급차량이 다가오고 있는지, 페라리가 다가오고 있는지도 인지하고 구별할 수 있다.
“이 애플리케이션은 V2X와 같은 인프라에 독립적입니다. V2X에서 이 기능을 기대하려면 그만큼 인프라가 깔리고 커버리지가 확보돼야 하지만, 뉴로마이크는 단 한 개의 임베디드 센서로 해결합니다.” 브리그넌 전략책임이 말했다.
사운드 패턴과 특성을 인식하고 구별하여 특이점을 파악하고 가르칠 수 있기 때문에, 뉴로마이크는 오일, 필터, 타이어, 벨트의 교환, 다양한 모터 이상 감지 등 자동차 유지보수와 관련된 애플리케이션에도 이용할 수 있다.
“로봇 카는 우리와 어떻게 이야기할 수 있을까요? 어떻게 차 내의 사람들, 차 밖의 사람들과 이야기 할 수 있을까요? 로봇은 사람들의 얼굴과 행동을 읽을 수 있을 뿐만 아니라 마이크로폰으로 소리를 듣고 차 밖은 물론 차 내에서도 무슨 일이 일어나고 있는지를 알 수 있습니다. 예를 들어 차에서 누군가 소리를 지를 때 카메라는 무슨 일이 일어나고 있는지 빠르고 정확하게 판단하기 힘들지만 사운드는 가능합니다. 그리고 이 다음 단계가 퍼스널 어시스턴트가 운전자와 대화하는 것입니다.” 클레멘스 CEO가 말했다.
L4나 L5 수준의 자율주행차는 차 안에서 놀고 있는 아이들의 소리, 누군가의 비명소리, 주변의 구급차 소리 등을 감지하고 상황을 빠르고 정확하게 판단해 대처하는 능력이 중요해질 것이라는 말이다.
뉴로마이크는 클라우드와 연결돼 있다면 사운드를 인식하고 나서 단지 1바이트로 클라우드 카테고리로 보낼 수 있다. 마이크로폰 데이터를 보낼 필요 없이 매우 제한적인 데이터만 보낸다. 모든 필터링이 로컬에서 끝나기 때문에, 이는 매우 낮은 통신 대역폭이 필요하다.
브리그넌 전략책임은 “고객들은 소프트웨어 프로그래밍 없이 뉴로컨트롤즈의 플랫폼을 이용해 그들의 애플리케이션이 원하는 대로 작동할 수 있도록 단지 가르치기만 하면 된다”며 “뉴로컨트롤즈는 자동차, 타이어, 대형 트레인 컴퍼니와 유즈케이스를 위한 작업을 진행 중”이라고 밝혔다.
 
 
가벼운 비전 시스템 
뉴로컨트롤즈는 비전 부문에서 인테리어 카메라 모니터링 시스템을 개발, 통합하고 있다. 뉴로컨트롤즈의 뉴로가드(NEUROGUARD)는 차세대 애플리케이션으로 페이스(face), 게이즈(gaze) 트래킹 알고리즘을 이용한다. 이 운전자 모니터링 시스템은 L2는 물론, 그 이상의 자율주행에서 운전자가 도로에 집중할 수 있도록 또는 운전 제어권을 효율적으로 이양하는 데 매우 중요한 부분이다.
클레멘스 CEO는 “인테리어 비전에서 시작해 익스테리어 비전으로 확대할 나갈 것”이라고 밝혔다. 비전 시스템 부분은 식별, 구분 및 로직 부분으로 나눌 수 있다. 구분은 많은 회사들이 존재하는 매우 경쟁적인 시장이다. 반면, 모빌아이(Mobileye)와 같은 회사가 있는 로직 부분은 높은 기술력과 특히 다년간의 경험이 중요한 시장이다. 인공지능, 데이터베이스, 구분(classification), 어노테이션(annotation) 등 다양한 기능, 풍부한 자금과 수백 명의 인력이 요구된다. 따라서 뉴로컨트롤즈는 운전자 및 보행자 모니터링, 서라운드 뷰 등의 영역에 집중하고 있다. 여기에는 아직 룰이 없기 때문이다.
이 영역에서 많은 회사들은 전통적인 인공지능, 그래픽 프로세서(GPU), 대규모 프로세서를 이용한다. 이런 솔루션은 높은 컴퓨팅 능력이 장점이지만 매우 부담스럽다. 반면, 뉴로컨트롤즈의 솔루션은 저렴한 마이크로프로세서와 뉴로모픽(neuromorphic, 뇌 신경 모방) 칩을 이용하기 때문에 매우 경제적이고 편리하다.
“저전력 컴퓨팅은 뉴로컨트롤즈 솔루션의 큰 장점 중 하나입니다. 예를 들어 엔비디아의 드라이브 PX와 같은 솔루션의 성능은 매우 좋지만 전력소모가 많은 GPU를 사용합니다. 전력소모가 심한 이런 GPU는 IoT 애플리케이션을 위해 사용할 수 없습니다. 기본적으로 우리는 전력소모가 적은 자동차, IoT, 드론을 위한 하드웨어 솔루션을 제안합니다.” 브리그넌 전략책임의 말이다.
외부 센싱도 마찬가지다. 모빌아이, 엔비디아 등이 주도하는 시장은 칩 제조사들에게 더 나은 분석을 위해 더 높은 픽셀을 요구한다. 또 딥 러닝(Deep Learning)과 뉴로 네트워크(Neuro Network) 등 전통적인 인공지능 방식은 갈수록 느려질 수밖에 없다.
“엔비디아는 HD를 사용하는 초당 10프레임의 좋은 시스템이지만, 30 cm마다 변화를 감지하는 식의 안전에 대한 디테일이 더욱 요구된다면 120프레임과 HD에서 4K로의 전환이 필요합니다. 12배, 48배 증가의 요구는 수천 W의 전력을 요구하는 것인데, 이는 기술적으로 해결되기 어려울 것 입니다. 또 시장이 GPU를 밀고 있기 때문에 프로세서도 커지고 있습니다.” 클레멘스 CEO의 지적이다.
뉴로가드의 다음 단계는 운전자 모니터링, 사운드, 감정 및 신체인식, 기타 다른 차량과 주변환경 데이터를 모두 이용해 운전자의 감정을 인식하는 것이다. 현재 뉴로컨트롤즈는 감정인식에서 독일 데이터베이스와 사운드만을 이용해 80% 인식률을 기록하고 있다.
 
 
스웜 인텔리전스 
뉴로컨트롤즈의 전문성은 인지 센서의 개발을 위한 감지, 식별, 구분, 트래킹, 매칭, 데이터 카운트 기술력과 에코시스템에 있다. 뉴로컨트롤즈의 솔루션은 특히 신속한 인식과 학습, 이상 현상 감지에 특화돼 있다. 모든 종류의 데이터, 신호 스트림을 읽어, 예를 들어 소리를 식별하고 특징을 구분할 수 있다.
현재 뉴로컨트롤즈의 인지 센서들은 스탠드얼론 임베디드 센서와 커넥티드센서 두 가지다. 특히 이 센서들은 초고속 주변 센싱과 관련된 모든 것을 처리할 수 있다. 또한 인지 컴퓨팅과 스웜 인텔리전스(swarm Intelligence)를 가능하게 하는 특이(novelty) 데이터와 함께 클라우드 기반 인공지능 솔루션과 고속, 초저전력의 감지, 식별 구분은 드론, 자동차, 포터블 기기는 물론 신속한 식별, 분류를 제한하는 연결성을 특징으로 하는 산업용 애플리케이션에 이를 제공할 수 있다.
진정한 실시간 성능을 원한다면 클라우드 컴퓨팅을 고려하지 말아야한다. 이는 지연성이 매우 심하기 때문이다. 그러나 자율학습을 위한 방대한 데이터가 필요하다면 클라우드 컴퓨팅은 불가피하다. 제한적 연결, 제한된 전력, 데이터의 개인정보보호 및 인증 요구사항과 같은 문제를 해결하면서 실시간 성능과 집단 학습을 원한다면 커넥티드 인지 센서를 이용하면 된다.
뉴로컨트롤즈의 인지 센서는 어떠한 GPU나 클라우드 솔루션보다 빠르게 배워왔던 특별한 패턴을 인식할 수 있다.
커넥티드 인지 센서의 스웜 인텔리전스는 매우 빠른 속도로 특이 데이터를 모을 수 있다. 특정 임무를 수행하는 인지 센서들이 모여 전체적인 인지 기능을 이루고, 이것이 모인 집단이 집단 전체의 목적을 위해 별도의 통제, 지휘 요소가 없더라도 집단의 활동과 목적에 맞도록 최적화하는 것이다.
브리그넌은 뉴로컨트롤즈의 센서와 솔루션 개발은 이같은 태스크에 특화돼 있다고 강조했다.
“ 이 센서들은 알려진 환경에서 자동으로 작동합니다. 단지 불분명하거나 특이한 것이 있을 때 추가적인 지능, 해명, 학습을 위해 클라우드와 통신합니다”. AE