좌측부터 다니엘 리차트(Daniel Richart) CEO, 마르커스 코프트(Markus Kopf) CTO, 게르트-얀 반 누넨 COO

테라키와 함께 더 똑똑하고 가벼운 레벨 2+ 양산

Teraki Geert-Jan Van Nunen        테라키 게르트-얀 반 누넨 COO
 
카 메이커는 장기적으로 모빌아이와 같은 외부 공급업체, IP에 의존하지 않을 것이다. 자체 IP, 자율주행 및 레벨 2+ AI 모델 개발해낼 것이다. GPU 및 서버로 가득 찬 트렁크 대신 기존의 저전력 하드웨어에서 이를 실행하고 양산할 것이다. 테라키는 이런 OEM의 과정에서 비용을 절감하고, 구현을 가속화하며, 필요한 99% 이상의 정확도를 달성해 대량 보급할 수 있도록 돕는 비법을 제공하고자 한다. 테라키의 게르트-얀 반 누넨 COO와 그들의 에지 AI 기술과 최신 커넥티드 카 데이터 관리 프로젝트에 대한 이야기를 나눴다. 

글| 한상민 기자_han@autoelectronics.co.kr
English Version



“안녕하세요. 한 기자님. 독일 스타트업 테라키(Teraki)의 한국사업개발팀 닐스 미스터버리(Nils Meesterburrie)입니다. 자율주행차 소프트웨어 개발 스타트업 테라키가 최근에 ‘퓨전 프로젝트(Fusion Project)’를 발표했습니다.” 

구정 전, 테라키의 한국사업개발팀은 그들이 에어비퀴티·클라우데라·NXP·윈드리버 등 커넥티드 카 월드에서 이름난 기업들과 함께 ‘사전 통합된 하드웨어 및 소프트웨어 솔루션’으로 AI를 더욱 발전시키면서 간소화된 ‘데이터 라이프사이클 플랫폼’ 정의를 위한 프로젝트를 공개했다고 알려 왔다.
  
커넥티드 카, 자율주행, 첨단 운전자 지원(ADAS) 기술이 계속 발전함에 따라 사용 가능한 데이터 양은 기하급수적으로 증가하고 있다. 이 데이터는 소비자를 위한 새로운 데이터 중심 기능 및 카 메이커의 수익 창출 기회를 강화하는 데 사용된다. 하지만, 차량 데이터를 효율적으로 수집, 분석, 관리하는 것은 머신러닝 라이프사이클 전체에 걸친 단편적인 데이터 관리, 정적 머신러닝 모델에 의한 부정확성, 지능형 에지 컴퓨팅의 제한된 기능, 인카 컴퓨팅 능력 부족이란 장벽에 부딪치고 있다.
 
이 ‘퓨전 프로젝트’의 첫 번째 애플리케이션은 ADAS의 차선변경 감지 애플리케이션에 대한 것이다. 여기서 에어비퀴티의 OTA 소프트웨어 매니지먼트, 클라우데라의 에지 to AI 데이터 라이프사이클 솔루션, NXP의 차량 프로세싱 플랫폼, 윈드리버의 지능형 에지 시스템 소프트웨어, 그리고 테라키의 에지 데이터 AI가 결합돼 ADAS 시스템의 의사 결정 정확도를 최대화하는 동시에 데이터 충실도를 잃지 않으면서 OTA 머신러닝 모델 업데이트를 통해 더 정확하고 똑똑하며, 효율적인 데이터 라이프사이클 플랫폼을 생성한다.

테라키의 게르트-얀 반 누넨(Geert-Jan Van Nunen) COO와 연락이 닿았고, 그들의 에지 AI 기술과 퓨전 프로젝트에 대한 이야기를 들었다. 





효율적인 데이터 수집

Q. 카 메이커를 겨냥해 유명 칩 업체, 소프트웨어 공급업체와 제휴해 개념증명(PoC)을 수행 중인 스타트업들이 있고, 어떤 경우는 이미 업계의 인정을 받아 카 메이커와 손잡고 있습니다. 테라키의 AI 기술, 자동차에서의 역량, 백그라운드에 대해 들여주세요.
A. 테라키는 자동차, 드론, 로봇산업에서 고객의 AI 모델을 향상시키는 것을 전문으로 합니다. 우리의 제품은 모든 센서, 예를 들어 텔레매틱스, 카메라, 레이더, 레이더 등에서 관련 정보를 추출하는 ‘에지 전처리(edge pre-processing)’ 소프트웨어입니다. 우리의 소프트웨어는 유연하고, 가벼우며 머신러닝 및 AI와 매우 잘 호환됩니다.

우리의 에지 AI-소프트웨어는 고객에게 크게 두 가지 이점을 제공합니다. 바로 고품질과 저지연성입니다. 이뿐만 아니라 고효율성을 특징으로 합니다. ▶고품질이란 높은 AI-모델 정확성을 말하는 것으로, 예를 들어 고객의 레벨 2+ ADAS 모델이 종전보다 10%~30% 더 정확해집니다. 이는 더 안전하고 더 나은 자동차가 된다는 의미입니다. ▶저지연성은 지연시간이 10배 빨라진다는 것으로 더 안전한 실시간 레벨 2+ 애플리케이션을 실행할 수 있다는 것입니다. ▶고효율성이란 RAM, CPU, 전원 등을 포함한 가벼운 에지 풋프린트로 하드웨어의 비용 절감, 데이터 전송 및 스토리지 비용의 최대 50배 절감은 물론, 고객의 AI 모델 및 사전 레이블링된 데이터를 10배 이상 빠르게 교육할 수 있다는 것입니다. 이런 모든 것과 관련해 우리에게 근접한 경쟁자는 없습니다. 

자동차에서 테라키의 AI 소프트웨어를 적용하는 대표적인 유즈케이스는 예를 들어, 추월거동, 차선변경, 턴, ADAS 및 자율주행 기술 제공사의 당면 과제인 그 밖의 다양한 장면과 시나리오에 대한 레벨 2+ 드라이빙 모델, 센서 퓨전, 오브젝트 감지, 원격제어/원격작동, 매핑 및 현지화, 주행거리 확장과 같은 것들입니다. 

테라키는 이미 여러 계약(series contracts)을 맺고 있습니다. 우리는 OEM과 자율주행 기술회사가 경쟁적으로 문제를 극복하고 양산차에서 ADAS 및 자율주행 기능을 제공함에 따라 시장 수요가 가속화되고 있음을 느끼고 있습니다. 테라키는 고객이 틈을 메우는 것을 돕고 있습니다.


Q. CAV(Connected & Autonomous Vehicle) 관련 데이터는 카 메이커의 데이터 중심 기능 및 제품 경쟁력, 수익 창출 기회의 핵심입니다. 데이터 활용은 정말 다양한 영역에서 이뤄질텐데요, 왜 퓨전 프로젝트의 첫 번째 애플리케이션이 차선변경 감지입니까? 
A. 차선변경은 차선유지와 추월 애플리케이션의 시작이므로 ADAS와 자율주행의 중요한 기반입니다. 목표는 OTA를 통해 저전력 차량 등급 하드웨어 및 동적 머신러닝 모델 소프트웨어 업데이트에 대한 에지 데이터 분석을 활용하는 동시에 차에 임베디드된 머신러닝 모델에 대한 시스템 결정 및 감지 정확도를 크게 향상시키는 것입니다. 

차선변경은 퓨전 생태계가 작동한다는 것을 구체적으로 입증하기 위한 사용 사례일 뿐입니다. TOI는 무엇이든 될 수 있으며 사용자가 미리 정의할 수 있습니다. 퓨전의 주요 목표는 중요 관련 정보만 저장하는 효율적인 데이터 수집입니다.

차선변경 감지는 테라키 에지 AI의 힘과 퓨전 파트너들의 통합을 입증하기 위한 첫 번째 예로 선택됐습니다. 차선변경을 자율적으로 수행하는 것은 여전히 ADAS 시스템의 주요 과제입니다. 이는 차선변경이 수행돼야 하는 시기, 수행될 수 없는 시기에 대한 주변환경과 장면을 잘 이해해야 하기 때문에 이러한 유형의 시나리오를 자율주행 트레이닝 스택에 넣어야만 하지만 이 데이터를 얻는 것은 매우 지루한 과정입니다.
테라키 에지 AI는 또 추월, 다양한 턴, 차선이탈 등과 같은 다른 유형의 이벤트를 감지할 수 있습니다. 에지 인텔리전스가 없는 레벨 2+ AI 모델이 어려움을 겪을 수 있는 장면들, 예를 들어, 공사구간이나 까다로운 차선 표시 등을 자동으로 감지할 수 있습니다.
 

테라키의 AV 카, 베를린

데모 셋업


레벨 2+ 보급화 

Q. 만일 차선변경 감지가 다른 차의 의도를 탐지하는 것까지라고 한다면 이 애플리케이션은 레벨 3 이상 자율주행 애플리케이션일 것입니다. 이 경우엔 레벨 2와 비교해 얼마나 더 많은 데이터가 요구되고 처리하기 위한 인프라가 요구될까요?
A. 우리의 정의에서 차선변경 감지는 데이터 기록 차량의 차선변경에 초점을 맞춥니다. 다른 차량이 차선을 변경할 때에 초점을 맞추지 않습니다. 하지만, 이런 것도 우리 제품에 쉽게 프로그램될 수 있습니다.

대부분의 AI 트레이닝은 각 클래스의 대표 샘플 수백에서 수천 개가 필요합니다. 우리는 더 높은 수준의 자율주행 애플리케이션과 관련된 장면에 집중하기 때문에 컴퓨팅 성능 및 스토리지 측면에서 더 큰 인프라가 필요 없습니다. 이는 테라키의 지능형 데이터 선택 및 에지 데이터 감소의 이점 중 하나입니다. 여기서 OEM은 GPU 대신 CPU에서 레벨 3, 레벨 4 드라이브를 실행할 수 있습니다. 현재 우리는 저전력 ASIL D 칩셋에서 레이더와 카메라 퓨전에 대해 고객을 대상으로 이를 시연하고 있습니다.


Q. 이를 위해서는, 필요한 데이터를 고객과 함께 정의하고, 컴퓨팅 성능과 스토리지 용량을 줄이기 위해 적절한 알고리즘으로 생성하는 데이터 간소화, 데이터 강화가 필요합니다. 결국, ADAS, 자율주행 및 AI와 관련 사용 가능한 기술과 툴이 여전히 불충분하고 산업을 지원하지 못하고 있다고 보는 것입니까? 
A. 네 그렇습니다. 자율주행 및 ADAS를 위한 AI 방법 개발은 종종 연구 커뮤니티에서 사용하고 개발한 최첨단 기술과 프레임워크를 사용합니다. 하지만, 예를 들어 AI 가속기나 ASIL 인증 하드웨어를 제공하는 툴 업체는 툴 체인에서 AI 중심 소프트웨어 및 해당 프레임워크를 지원해야 하는 필요성을 잘 이해하고 있기 때문에 데이터/모델 형식을 양쪽에서 모두 지원하는 경우가 많습니다. 이런 것이 개발 단계부터 제품 단계까지 사용되는 중으로 많은 진전이 이뤄지고 있습니다. 

저는 테라키가 제공하는 주요 가치가 모델 교육에 직접 있는 것이 아니라, 주로 이런 모델을 양산 수준 차량에서 효율적이고 정확하게 실행하는데 있다는 점을 분명히 하고 싶습니다.


정확도 99%로 

Q. 앞 질문과 관련해 테라키는 어떻게 이런 비효율성을 해결하고 데이터를 필터링하는 것입니까? 이와 관련 “사전 통합 하드웨어 및 소프트웨어 솔루션”이라는 말이 매우 중요하게 생각됩니다.
A. 테라키의 지능형 에지 AI는 자동차와 주변 환경에 무슨 일이 일어나고 있는지 파악합니다. 우리는 주어진 비디오, 포인트 클라우드 등의 신호에서 ‘관심 영역(예: 객체)’과 ‘관심 시간(예: 이벤트)’을 감지하는 기술을 개발했습니다.

테라키는 단일 또는 멀티 센서 스트림을 사용해 레벨 2+ AI 모델이 처리해야 하는 다양한 유형의 객체/장면을 구분합니다. 가장 높은 해상도를 중요 개체 또는 이벤트에 할당함으로써 머신러닝은 큰 이점을 얻고 보다 신뢰할 수 있는 모델을 생산합니다. 이를 통해 자율주행 개발자는 관련 정보에 초점을 맞추고 레벨 2+ AI 모델을 더 빨리 개선하고 재교육할 수 있습니다. 테라키 에지 AI는 AI 모델 세트에 필요한 정보를 필터링하고 개선된 모델은 차에서 경량화를 가능하게 합니다.

‘사전 통합된 하드웨어 및 소프트웨어 솔루션’이 실제로 여기서 중요한 점입니다. 다른 퓨전 프로젝트의 파트너들과 함께 우리는 양산차를 위한 전체 AI 모델 수명주기를 통합했습니다. 실제 트래픽 상황에서 실제 데이터를 수집해 머신러닝용 클라우드로 전송하고 첫 번째 AI 모델(첫 사례로 차선변경 감지)을 교육한 후 로컬에서 실행되도록 차량에 보내 실제 운영 하드웨어(NXP)에 에지 AI와 OS를 내장했습니다. 그런 다음 해당 AI 모델을 재교육하고 개선해 98%의 정확도를 달성했습니다. 이것은 상대적으로 제한된 트레이닝을 감안할 때 큰 성과입니다. 우리는 자체 모델을 생성하고 99% 이상의 안정성 수준으로 끌어올려야 하는 OEM 고객에게 이 플랫폼을 제공합니다. 


퓨전 프로젝트 워크플로

테라키 에지 AI는 AI 모델 세트에 필요한 정보를 필터링하고 개선 모델은 차에서 경량화를 가능케 한다.




Q. 그 결과, 차선변경 감지에서 얼마만큼의 효과를 낼 수 있습니까? 프로젝트에서 하드웨어의 주요 특징은 무엇입니까? 
A. 우선 하드웨어는 일반 양산 등급 차량용 하드웨어입니다. 지능형 데이터 필터링 접근 방식때문에 모델 개발을 위해 테라키에서 사용되는 하드웨어는 높은 차내 컴퓨팅 리소스나 스토리지를 위한 데이터 센터를 필요로 하지 않습니다. 표준 저전력 차량용 하드웨어에서 할 수 있습니다. 차에 배치된 NXP 하드웨어는 가속을 통해 AI 모델 실행 속도를 높일 수 있습니다. 사용되는 하드웨어는 NXP BlueBox 2.0과 NXP GoldBox(S32G)입니다. 사양은 비디오(https://vimeo.com/513344754)에서 확인할 수 있습니다. 

레벨 2+ AI 모델 개발을 위한 지능형 에지의 표준 워크플로는 관련 내용과 그렇지 않은 데이터 필터링 없이 ‘맹복적으로’ 모든 데이터를 캡처하지 않습니다. 예를 들어, 고속도로에서의 정상 주행과 차선유지 문제는 ‘해결된’ 문제로 간주될 수 있지만, 도시에서의 운전은 훨씬 더 어렵습니다. 또 테라키 프로세싱은 실시간으로 수행되기 때문에 데이터를 저장하는데 고급 하드웨어를 필요로 하지 않습니다. 우리는 단지 몇 초의 데이터를 저장할 링버퍼가 필요할 뿐입니다. 

신뢰성 측면에서 테라키 솔루션은 매우 높은 정밀도를 제공해 AI 모델의 정확도를 98%에서 99%로, 99% 이상으로 향상시킬 수 있습니다.


자율주행의 가속 

Q. ADAS AI 개발 워크플로와 함께 다른 파트너들이 단계별로 어떤 지원을 합니까.
A. 비디오(https://vimeo.com/504737339)를 참고하시기 바랍니다. NXP는 데이터 기록과 임베디드 모델 실행을 위한 임베디드 하드웨어를 제공하고, 클라우데라는 클라우드 머신러닝을 제공하며, 에어비퀴티는 개선된 모델의 무선 업데이트를 제공합니다.

최초, 차량 센서 데이터는 NXP BlueBox 자율주행 플랫폼과 윈드리버 리눅스 OS 및 Teraki Edge Analytics 소프트웨어를 구동하는 S32G GoldBox 서비스 지향 게이트웨이 플랫폼을 조합해 차량 내부에서 수집 및 처리됩니다. Teraki Edge 소프트웨어는 Cloudera ML 플랫폼에 의해 수집될 이벤트에 대한 차선변경 이벤트를 선택하도록 고객에 의해 컨피규레이션됩니다. 가공된 차량 데이터는 추가 분석, 머신러닝, 리포트 및 저장을 위해 테라키 플랫폼과 통합된 Cloudera Data Platform으로 차량 외부에 전송됩니다. 특정 AI 모델을 교육하기 위해 고객 API를 통해 차량 제품군에서 어떤 정보를 수집할지 설정할 수 있습니다. 이는 고객의 AI 모델에 대한 교육을 크게 가속화합니다. 온보드 Teraki Edge Analytics 모듈은 윈드리버 리눅스를 사용하는 NXP S32G의 에어비퀴티 OTAMatic Software Update Client를 사용해 자동으로 업데이트되며 OTAMatic Software Update를 통해 관리됩니다.

Teraki는 ‘전통적인’ 접근 방식에서 시작했지만, 이미 전개된 솔루션으로 인해 AI 개발 작업 속도를 높일 수 있게 됐습니다.


Q. 한국을 비롯한 세계 자동차 시장에서 테라키의 다음 계획은 무엇입니까?
A. 우리는 한국의 자동차 산업이, 특히 새로운 혁신과 기능 도입에 있어 세계를 선도한다고 봅니다. 이에 따라 테라키의 계획은 독일에서의 사업 확장은 물론 한국 및 기타 글로벌 OEM과 협력해 레벨 2+ 기능이 승용차에 더 빠르게 도입되도록 돕고, 가장 중요하게는 더욱 안정적으로 달성할 수 있도록 지원하는 것입니다.

카 메이커는 IP와 이런 레벨 2+ AI 모델 개발을 자체적으로 할 것이며 모빌아이와 같은 외부 공급업체, IP에 의존하지 않을 것입니다. 테라키는 GPU 및 서버로 가득 찬 트렁크 대신에 OEM이 기존의 저전력 운영 하드웨어에서 이를 실행할 수 있도록 지원해 양산 볼륨으로 가는 걸림돌을 해소합니다. 따라서 우리는 비용을 절감하고, 구현을 가속화하고, 요구되는 99% 이상의 정확도를 달성할 수 있는 툴을 제공할 것입니다. 
테라키는 퓨전 프로젝트에서 증명한 것처럼, 세계에 안전한 레벨 2, 레벨 3, 레벨 4 차량의 출시를 가속화하고 싶습니다.