글｜한상민 기자_han@autoelectronics.co.kr

 

“자율주행차 상용화는 언제쯤 가능할까요?”란 질문에, 포텔릭스는 “자율주행 기능 검증이 기술 개발보다 어렵다”는 볼보 자율주행 솔루션의 루카 델그로시(Luca Delgrossi)의 코멘트를 인용해 답한다.

자율주행차의 보급은 현재 ‘안전성’이란 커다란 장벽에 부딪치며 애초 생각한 것보다 더 긴 시간이 걸릴 것으로 예상되고 있다. 특히, 이것은 자동차 산업의 전통적인 툴과 방법론으로는 자율주행차의 안전성을 보장하는 데 필요한 테스트와 복잡성을 처리할 수 없기 때문이다. 미디어를 통해 자율주행 기술의 리더로 평가되고 있는 웨이모, 우버, 크루즈, 아르고 AI, ZooX와 같은 회사들이 과연 어떤 테스트 시나리오를 가지고, 어떻게 평가하고 있는지, 또 그것이 얼마나 신뢰할 수 있는지에 대해 정확히 알고 있는 사람은 없다. 심지어 그들조차도 그들의 방법론에 확신을 갖고 있지 않을 수 있다.

예를 들어, 매년 캘리포니아자동차관리국(DMV)은 ‘자율주행 기능 해제 리포트(Autonomous Vehicle Disengagement Reports)’를 발표하고 있다. 하지만, 이것은 단순히 물리적이거나 가상의 주행거리에서 자율주행 기능의 해제 수, 실패율을 나타내는 “마일리지(Quantity of Miles)” 기반 데이터일 뿐이다. 실제적인 자율주행의 안전성을 평가하기 위한 중요한 시나리오, 예측 못한 상황에 대한 시나리오를 성공적으로 수행하고, 이를 입증하기 위한 지표를 추출할 수 있는 ‘커버리지와 성능의 질적 수준’에 대한 검증과 평가 기준은 아직 없다.

포텔릭스의 지브 빈야미니(Ziv Binyamini) CEO는 “마일리지 기반 레이스는 자율주행차의 안전성을 입증하는 데 필요한 다양한 시나리오와 이를 측정할 수 있는 정량화된 방법이 부족할 뿐만 아니라, 예상할 수 없는 ‘위험 시나리오(edge cases)’를 찾아내 ‘알려진 시나리오’로 바꾸고 모든 가상 및 물리적인 테스트 플랫폼에서 커버리지 메트릭을 집계할 적절한 메커니즘을 제공하는 툴이 없다”고 말했다.

포텔릭스는 시뮬레이션, X-in-the-Loop, 트랙 및 실주행 테스트 등 일련의 자율주행 테스트 과정과 관련된 수억 가지의 시나리오를 커버하고, 모든 것을 규정하고 실행하면서 의미 있는 데이터를 집계, 평가해 안전성을 검증할 수 있는 방법을 찾고 있으며, 이 미션을 ‘검증 가능한 자율주행과 첨단 운전자 지원 시스템의 안전성 달성(Measurable Safety of Autonomous Vehicles and ADAS)’이라 부르고 있다. 그리고 이것은 반도체 산업에서 이미 검증된 ‘커버리지 기반 검증(Coverage Driven Verification, CDV)’ 방법론을 통해 전개된다.
 
포텔릭스의 자율주행 검증 기술을 요약하면, ▶1억 가지의 주행 시나리오가 얼마나 잘 되는지에 대한 안전 지표를 제공함으로써 자율주행차의 안전성을 측정할 수 있다. 복잡성 관리 측면에서는 ▶‘하나’의 시나리오 명세로부터 많은 시나리오 변형을 가능하게 하는 ‘One to Many’와 ▶‘플랫폼을 망라한 수많은 테스트를 하나의 커버리지 대시보드와 메트릭으로 전환하는 ‘Many to One’을 특징으로 한다. 또한, ▶솔루션은 필수적인 모든 주행 플랫폼에서 작동한다. ▶포텔릭스의 솔루션은 주요 자율주행차 개발자, 서플라이어, 보험사, 규제기관에 큰 도움이 될 수 있다는 것이다. 

포텔릭스의 ‘측정 가능한 안전을 위한 커버리지 기반 검증 방법론’


데자뷰  

지금의 자율주행차 디자인과 검증에 대한 도전은 1990년대 반도체 칩 디자인 복잡성의 폭증기를 거친 이들에게는 일종의 ‘데자뷰’와 같다. 즉, 포텔릭스의 자율주행에 대한 접근법은 전자시스템 및 IC 회로 설계 검증계의 베테랑인 창업자 3인방, 요하브 홀랜더(Yoav Hollander) CTO, 지브 빈야미니(Ziv Binyamini) CEO, 질 아미드(Gil Amid) 부사장(그리고 45명의 임직원들)에게는 완전히 새로운 것이 아니란 말이다.

예를 들어, 빈야미니 CEO는 인텔의 사내 검증 툴 개발로 커리어를 시작해 VLSI 검증으로 유명한 검증 분야의 개척자 베리시티(Verisity), 이후 케이던스(Cadence)를 거쳤다. CTO인 요하브 홀랜더는 반도체 칩 검증 방식을 바꾼 베리시티의 창립자이자 CTO다. 빈야미니 CEO는 1997년 홀랜더와 처음 만나 베리시티에서 함께 근무했고 RnD 부사장을 역임했다. 2005년 케이던스 디자인 시스템스에 인수된 이후에도 그들은 함께 일했다. 베리시티의 커버리지 기반 검증은 당시 마이크로프로세서, GPU, 네트워크 및 셀룰러 프로세서 디자인의 복잡성을 해결할 유일한 방법이었다. 홀랜더는 후일 관련 표준(IEEE 1647)이 된 검증 언어인 ‘e’를 창조하기도 했다.

아미드 부사장은 인텔에서 30년 이상 근무했고 부사장을 역임했다. 가장 최근에는 검증 툴 개발 조직을 맡았었다. 그는 거의 모든 디자인 도메인에서 EDA와 CAD 툴 개발뿐 아니라 VLSI 디자인 프로젝트를 지휘했었다. 
 
빈야미니 CEO는 “요하브가 케이던스를 떠나 매우 다양하고 복잡한 시스템을 검증하는 방법을 연구하는 과정에서 자율주행차가 과제로 떠올랐고, 포텔릭스에서 CEO로서 다시 만나게 됐다. 그리고 우리의 방법론과 컨셉을 적용하게 됐다”고 말했다.

포텔릭스는 이처럼 반도체에서 널리 사용되고 입증된, 확장 가능한 검증 방법을, 반도체가 핵심인 자율주행차에 도입, ‘측정 가능한 안전을 위한 커버리지 기반 검증 방법론(Coverage Driven Verification Methodology for Measurable Safety)’을 제시하면서 특정 주행 시나리오에서 수만 가지 변형을 생성할 수 있는 포티파이(Foretify)란 소프트웨어를 개발했다.



반도체서 검증된 방법론을 자율주행에 적용  


포티파이는 스탠더드 템플릿, 스탠더드 테스팅 라이브러리, ODD(Operational Design Domain)를 이용하면서 커버리지 계획을 조정, 개선, 반복하는 흐름을 통해 고객이 신뢰할 수 있는 주행 안전성 수준에 도달할 수 있도록 돕는다. 성공적인 검증을 위한 자동화 및 분석 소프트웨어 플랫폼인 이 포티파이는 시뮬레이션, X-in-the-Loop, 트랙 및 실주행 테스트 등 전 과정에서 ▶M-SDL(Measurable Scenario Description Language) 시나리오 설명 언어를 이용한 계획 및 시나리오의 설명 ▶시나리오 변형 생성 ▶커버리지 집계 분석 및 메트릭을 자동화한다. 또한 그 결과로 ▶시나리오 및 데이터 폭발을 해결하는 확장 가능한 실용적인 접근 방식으로 생산성을 향상시키고 ▶검증 및 안전 사례 개발에 대한 측정 가능한 완전성을 증명할 수 있게 하며 ▶탁월한 이식성으로 통합, 재사용 및 다양한 테스트 플랫폼과 ODD, 조직의 활동 조정을 가능케 한다.

자율주행 안전성 검증 위한 자동화 및 분석 툴 포티파이  


새로운 언어와 1억 가지 시나리오  

자율주행 영역에서 포텔릭스의 방법론 적용은 완전히 새로운 것은 아니다. 이같은 커버리지 기반 접근은 자율주행 평가에 필요한 시뮬레이션 공간을 생성하고 정의하기 위해 추출된 데이터와 과거 이력을 분석하는 페가수스(PEGASUS Method)의 접근과 닮았다. 차이가 있다면, 포텔릭스는 페가수스를 더욱 보강하고 향상시킨다는 점이다. 포텔릭스의 커버리지 기반 검증은 커버리지 요구사항을 의사결정 프로세스의 데이터 소스로 추가하고 방대한 시뮬레이션 및 변형 공간을 다루기 위해 랜덤 시뮬레이션 생성을 가능하게 한다. 또한 예측할 수 없는 시나리오를 만드는 방법을 제공한다. 1억 가지의 의미 있는 핵심 시나리오와 에지 시나리오를 자동으로 생성하고 모니터링한다.
 
예를 들어, 포티파이는 여러 ‘컷인 및 슬로우’ 시나리오 변형을 생성할 수 있다. 하나의 상위 명세로부터 여러 시나리오 변형을 만든다. 구속 랜덤 솔버를 사용하는 다양한 토폴로지, 매개 변수, 커버리지를 확장하는 다양한 기술 적용, 시나리오 생성을 즉시 제어하는 동적 멀티 플랫폼 API, 다음의 ODD에 신속한 적용이 가능하다. 포티파이는 또한 테스트 플랫폼 간 뛰어난 이식성을 제공해 OEM 시뮬레이터를 포함한 모든 테스트 플랫폼과 쉽게 통합돼 생성된 시나리오를 여러 실행 플랫폼에서 실행할 수 있도록 한다.

SoC 디자이너를 위해 고급 하드웨어 설명 및 검증 언어를 개발한 것처럼, 포텔릭스는 시스템 설계자를 위해 시나리오와 커버리지 목표를 매우 높은 수준으로 설명하는데 사용하는 새로운 시나리오 설명 언어인 개방형 M-SDL을 개발했다. 이 M-SDL은 사람이 읽을 수 있는 개방형 고급 언어로, 시나리오 캡처, 재사용 및 공유를 단순화하고 시나리오와 운영 조건을 쉽게 지정해 핵심 시나리오는 물론 이전에 알려지지 않은 에지 시나리오를 식별할 수 있다. 또 테스트 및 테스트 플랫폼과 상관없이 자율주행차의 안전을 입증하는 데 중요한 기능 커버리지를 모니터링하고 측정할 수 있다.



개방형 시나리오 설명 언어 M-SDL의 주요 특징


포텔릭스의 질 아미드 부사장은 “M-SDL은 ADAS 및 자율주행차의 안전성을 검증, 평가하는데 사용하는 오늘날의 포맷, 언어, 방법 및 메트릭들의 여러 단점을 해결하는 최초의 개방형 언어”라며 “포텔릭스는 지난해 9월 ADAS와 자율주행 생태계에 M-SDL을 개방하고 언어 컨셉을 ASAM(Association for Standardisation of Automation and Measuring Systems)에 기부했는데, 현재 약 250개의 서로 다른 기관(OEM, 티어 1, 규제당국, 보험사 등)과 500명 이상의 엔지니어가 이 M-SDL 사양을 다운로드해 안전성 검증, 측정, 평가를 위해 적용하고 있다”고 말했다.

M-SDL은 ASAM의 OpenSCENARIO 프로젝트의 추가 개발을 위한 OpenSCENARIO 2.0(프로젝트 리더: 포텔릭스의 질 아미드 부사장)의 언어로 채택돼 있다. 포텔릭스는 개방형 생태계와 개방형 표준을 강조하며 차세대 OpenSCenario 표준을 만들기 위한 ASAM의 노력을 적극 지원하고 있다. OpenSCENARIO는 단순한 고속도로 상호작용에서 장기적이고 복잡한 도심교통 시나리오에 이르는 모든 주행 시나리오에 대한 테스트 및 실행 플랫폼에서 동적 컨텐츠 및 기능적 동작을 제공하는 형식과 메커니즘 사용을 목표로 한다.

아미드 부사장은 “우리는 자율주행 안전 검증 평가에 매우 중요한, 선언적(declarative) 도메인 특정 시나리오 설명 언어의 모든 예에 대한 OpenSCENARIO 2.0 컨셉 도큐멘트에 M-SDL이 사용되면서 또 다른 마일스톤을 쌓았다”며 “M-SDL은 측정 가능한 자율주행 안전성 달성이 재사용 및 공유를 방해하고 불충분하거나 확장할 수 없는 표준, 방법, 메트릭 부족으로 제한되고 있는 상황에서 생태계에 누락된 기능을 제공함으로써 돌파구를 마련하고 있다”고 말했다.

하나의 상위 명세로부터 여러 시나리오 변형을 생성하고 분석


숨겨진 위험을 알려진 것으로 

포텔릭스에 따르면, 포티파이는 ISO 21448(SOTIF), ISO 26262, UL 4600 등 현존하거나 진행 중인 모든 자율주행 및 ADAS 안전성 표준 및 프로세스를 지원한다. 예를 들어, SOTIF는 하드웨어 및 소프트웨어 고장이 아닌 경우에도 ADAS나 자율주행차가 위험한 동작을 일으킬 가능성을 포함한 위험조건 식별을 위한 프레임워크로, 수용 가능한 수준의 위험이 있을 때까지 동작을 확인 및 검증하는 방법을 제시한다. 이는 설계, 검증, 조치에 대한 지침을 제공하면서 가능한 시나리오 공간을 4가지 범주로 분류하는데, 궁극의 목표로 알려진 위험 시나리오 영역, 알려지지 않은 위험 시나리오 영역의 안전성을 평가하고, 이것이 충분히 작으면 잔류 위험이 허용되는 것으로 보고 있다.

이 알려지지 않은 위험 시나리오 영역에서 M-SDL 시나리오 시뮬레이션은 커버리지 영역을 확대하고 커버리지 홀을 해결한다. 예를 들어, 시스템 간 상호작용과 같은 미지의 영역에서 알려지지 않은 위험 시나리오의 검증을 위해 의미 있는 핵심 시나리오와 에지 시나리오를 생성하는 지능적인 자동화를 수행한다. 또한 메트릭 기반 커버리지 집계 및 분석을 통해 미지의 공간을 탐색해 알려지지 않은 위험을 알려진 위험으로 전환한다.

알려진 위험 영역에서는 기존 시나리오 프레임워크 위에서, 예를 들어 MCMC와 같은 다양한 기법을 사용해 잔류 위험을 예측하고 감소시킨다. 실제 테스트 플랫폼과 가상 테스트 플랫폼 간의 상관관계를 파악하고 보정하며, 커버리지 기반 검증을 통한 버그 수정 및 검증을 실시한다. 기록/데이터 로그/시뮬레이션을 모니터링하고 시나리오로 분할해 ODD 시나리오 통계를 획득할 수 있도록 함으로써 ODD 버그, 위험 측정, 정량화를 수행한다.



포티파이 특장점  


질 아미드 부사장은 “포티파이는 기존 및 새로운 안전 표준과 프로세스를 모두 지원한다. 이런 표준 및 프로세스에는 자율주행차의 안전 사례를 작성하는데 필요한 증거를 제공할 수 있는 검증 및 확인 평가를 위한 커버리지 메트릭이 필요하다”며 “포텔릭스는 포티파이 플랫폼을 통해 모든 테스트 플랫폼에서 각 시나리오 실행에서 실제로 발생하는 상황을 측정하고 업계가 ‘측정 가능한 안전성’을 달성할 수 있도록 지원한다”고 말했다.

 

SOTIF 등 자율주행 안전 프로세스 지원

 

---

연결기사/   '포텔릭스 M-SDL로 데모된 ASAM OpenSCENARIO 2.0 컨셉'