자율주행 시스템 안전성 확보 위한 시뮬레이션 기반 검증과 시나리오 테스트 전략

이 글에서는 자율주행 시스템의 안전성을 확보하기 위한 시나리오 기반 검증의 개념과 중요성을 살펴보고, 이를 실제 자율주행 검증에 어떻게 활용할 수 있는지 알아본다. 또한, 모라이의 시나리오 기반 시뮬레이션 기술이 자율주행 개발과 검증 과정에서 수행하는 역할을 소개하고 모라이 시뮬레이션 소프트웨어를 활용한 시나리오 테스트 방법과 데이터 셋 구축 방안을 알아본다. 

글 | 박성연 상무, 모라이(MORAI)





자율주행 기술은 미래 모빌리티 혁신의 핵심으로, 단순한 교통 효율성 향상을 넘어 자동차 산업과 일상생활 전반에 걸쳐 광범위한 변화를 가져올 것으로 기대된다. 자율주행 차량의 도입은 개인의 이동 방식을 혁신하고, 물류 및 배송 시스템을 최적화하며, 교통 약자의 이동성을 확대하는 등 다양한 혜택을 제공할 수 있다.

그러나 자율주행 기술이 실질적으로 도로에서 안전하게 작동하기 위해서는 철저한 검증 과정이 필수적이다. 자율주행 시스템이 현실 도로에서 신뢰성 있게 운영되려면 복잡한 교통 시나리오와 예측할 수 없는 변수에 효과적으로 대응할 수 있어야 한다. 하지만 실제 도로에서 모든 상황을 테스트하는 것은 시간, 비용, 안전성 등의 문제로 인해 한계가 존재한다. 이에 대한 해결책으로 가상 환경에서의 시뮬레이션 검증이 필수적인 대안으로 떠오르고 있다.

시나리오 기반 가상 환경 시뮬레이션은 다양한 주행 상황을 재현하고, 자율주행 시스템의 반응을 평가할 수 있는 효과적인 방법이다. 이를 통해 도로 인프라, 날씨 변화, 주변 차량과의 상호작용 등 현실적인 주행 변수를 고려한 테스트가 가능하다. 또한, 반복적인 실험을 통해 시스템의 한계를 분석하고 보완할 수 있어 개발 비용 절감과 검증 효율성 향상에 기여한다.

이 글에서는 자율주행 시스템의 안전성을 확보하기 위한 시나리오 기반 검증의 개념과 중요성을 살펴보고, 이를 실제 자율주행 검증에 어떻게 활용할 수 있는지 알아본다. 또한, 모라이의 시나리오 기반 시뮬레이션 기술이 자율주행 개발과 검증 과정에서 수행하는 역할을 소개한다.


시나리오 기반 테스트의 핵심 역할 

자율주행 시스템의 성능과 안전성을 검증하는 데 있어 시나리오 기반 테스트는 필수적이다. 일반적으로 가상 환경에서의 시뮬레이션 검증은 비용 절감과 안전성 확보라는 측면에서 강조되지만, 시나리오 기반 테스트의 가치는 그 이상을 제공한다.
시나리오 기반 테스트는 다양한 주행 환경과 복잡한 교통 상황을 정밀하게 재현해, 자율주행 시스템이 각 상황에서 어떻게 반응하는지를 평가할 수 있도록 한다. 이를 통해 예측할 수 없는 도로 변수에 대한 대응 능력을 높이고, 실제 도로에서 발생할 수 있는 위험 요소를 사전에 분석해 대비할 수 있다.

 

특히, 시나리오 기반 테스트는 다음과 같은 측면에서 중요한 역할을 한다.

- 현실적인 도로 환경 재현: 실제 도로에서 경험할 수 있는 날씨 변화, 보행자 출현, 예기치 않은 장애물 등을 반영한 테스트가 가능하다.
- 위험 상황 대비: 돌발적인 사고 상황이나 비정상적인 교통 패턴을 테스트해 자율주행 시스템의 대응력을 강화할 수 있다.
- 반복 가능한 검증 환경 제공: 동일한 조건에서 반복적인 실험을 수행해, 시스템의 일관성과 신뢰성을 확보할 수 있다.


ISO 21448 (SOTIF)와 시나리오 기반 검증의 필요성 

SOTIF(Safety Of The Intended Functionality)라고 불리는 ISO 21448은 시스템의 오작동이나 물리적 고장을 테스트하는 것이 아닌, 의도된 기능이 충분한 안전성을 확보하고 있는지를 검증하는 것을 목표로 한다. 즉, 시스템이 정상적으로 작동하더라도 성능 한계로 인해 특정 기능을 수행할 수 없거나, 사용자의 예기치 않은 조작 또는 외부 환경(주변 차량, 날씨, 인프라 등)에 의해 안전이 보장되지 않는 경우를 평가한다. 이런 잠재적 위험을 사전에 식별하고 대응하기 위해서는 다양한 시나리오를 활용한 테스트가 필수적이다. SOTIF 표준에서는 반복적인 시나리오 검증을 통해 위험 요소를 식별하고, 이를 보완하는 과정이 포함된다. SOTIF 준수를 위해서는 의도된 기능이 모든 주행 시나리오에서 충분한 안전성을 보장할 수 있도록 다양한 환경에서의 시나리오 기반 테스트가 필수적이다.

Fallback, MRM, MRC와 시나리오 기반 검증

일반적으로 자율주행 레벨 3부터는 특정 ODD(Operational Design Domain) 내에서 시스템이 운전자 개입 없이 자율주행을 수행하게 된다. 이런 환경에서 자율주행 시스템이 예상치 못한 상황을 인식하고 적절히 대응할 수 있도록 하는 Fallback(시스템 실패 시 대처 메커니즘)의 중요성이 더욱 부각된다. 

자율주행 시스템이 더 이상 주행 기능(DDT, Dynamic Driving Task)을 수행할 수 없다고 판단하거나, 차량이 미리 정의된 ODD를 벗어나는 경우 Fallback 절차가 활성화되며 차량의 제어 모드가 변경된다. 레벨 3에서는 이런 Fallback이 발생하면 운전자에게 즉시 제어권이 이양되지만, 레벨 4에서는 운전자 개입 없이 시스템이 스스로 MRM(Minimum Risk Maneuver, 최소 위험 회피 조작)을 수행해 차량을 MRC(Minimum Risk Condition, 최소 위험 상태)로 안전하게 유도해야 한다.

이런 기능이 원활하게 작동하려면 다양한 DDT 실패 시나리오와 ODD Exit 시나리오를 기반으로 한 검증 과정이 필요하다. 시스템이 각 상황에서 적절하게 판단하고 대응하는지를 평가하고, 반복적인 시뮬레이션을 통해 Fallback 절차의 신뢰성을 확보하는 것이 필수적이다. 이를 통해 자율주행 차량이 실제 도로 환경에서도 예기치 못한 상황에 효과적으로 대처할 수 있도록 준비할 수 있다.


시나리오 테스트 방법론 

시나리오는 도로 환경, 교통 상황, 날씨 조건 등 다양한 요소를 포함해 정의되며, 이를 체계적으로 구분하는 것이 중요하다. PEGASUS 프로젝트는 자율주행 시스템의 안전성과 신뢰성을 검증하기 위해 독일에서 추진된 연구 프로젝트로, 시나리오 기반 테스트 프레임워크를 정립하는 데 중요한 역할을 하고 있다. 이 프로젝트에서는 시나리오를 보다 명확하게 분류하기 위해 여섯 개의 레이어로 나눠 정의하고 있다. 레이어 1과 2는 도로 네트워크와 인프라를 포함하며, 레이어 3과 4는 해당 환경에서 존재하는 물체 또는 차량을 다룬다. 마지막으로 레이어 5와 6은 날씨 및 조명 조건과 같은 환경적 요인을 포함한다. 이런 구조를 통해 시나리오를 보다 체계적으로 정의할 수 있으며, 각 레이어의 조합을 통해 수많은 시나리오를 파생시킬 수 있다.





PEAGSUS 프로젝트 시나리오 레이어 모델



이런 방법을 활용하면 시나리오 데이터베이스를 구축하고, 필요한 시나리오를 선택한 후 세부적인 파라미터를 조정해 테스트를 수행할 수 있다. 테스트가 완료되면 결과를 별도의 데이터베이스에 저장하고, 이를 분석해 더 다양한 시나리오에 대한 대응력을 높일 수 있다. 또한, 분석 결과를 바탕으로 유용한 시나리오를 선별하거나 기존 시나리오 데이터베이스를 개선하는 과정도 이루어진다. 이런 일련의 과정이 시나리오 기반 테스트 방법론의 핵심이며, 이를 통해 자율주행 시스템이 다양한 도로 환경에서 신뢰성을 확보할 수 있도록 지원할 수 있다.


ASAM OpenX와 표준화된 시나리오 테스트    

유럽의 표준 제정 단체인 자동화 및 측정 시스템 표준화 협회(ASAM, Association for Standardization of Automation and Measuring Systems)는 자율주행 시스템의 검증과 평가를 위한 테스트 방법론과 표준을 정의하고 있다. ASAM은 시나리오 기반 테스트를 보다 체계적으로 수행할 수 있도록 OpenX 표준을 개발하였으며, 이를 활용한 시나리오 테스트 워크플로를 제안하고 있다.




 ASAM의 시나리오 테스트 워크플로



이 워크플로에서는 테스트 도메인을 OpenODD(Open Operational Design Domain)를 통해 정의하고, 도로 환경과 시나리오는 OpenDRIVE, OpenCRG, OpenSCENARIO를 활용해 기술한다. 이렇게 정의된 시나리오는 시뮬레이션을 통해 검증되며, 이 과정에서의 데이터 인터페이스는 OpenOSI(Open Simulation Interface)를 통해 표준화된다. 테스트 결과는 OpenLABEL을 기반으로 저장되며, 이를 바탕으로 시스템 개선과 시나리오 고도화가 이루어진다.

특히 OpenSCENARIO는 자율주행 시스템의 검증을 위한 시나리오를 기술하는 표준 포맷으로, 구체적인(Concrete) 시나리오부터 논리적인(Logical) 시나리오까지 단계적으로 정의할 수 있다. OpenSCENARIO는 두 가지 버전으로 발전하고 있으며, XML(1.x) 기반의 OpenSCENARIO는 예측 가능하고 정밀한 시나리오 서술을 위한 포맷을 제공하며, DSL(Domain-Specific Language, 2.x) 기반의 OpenSCENARIO는 보다 추상적인(High-level Abstract) 시나리오 정의와 대규모 자동화 테스트를 지원할 수 있도록 설계됐다.

이런 ASAM OpenX 표준의 도입은 시나리오 기반 테스트의 효율성을 높이고, 다양한 주행 환경에서 자율주행 시스템의 안전성을 검증할 수 있도록 지원하는 중요한 역할을 한다.


MORAI 시나리오 테스트 워크플로
 
이제 모라이 시뮬레이션 소프트웨어를 활용한 시나리오 테스트 방법과 데이터 셋 구축 방안을 알아본다. 

모라이 시뮬레이션 솔루션을 사용할 경우 크게 MORAI SIM과 Scenario Runner 두 가지 주요 도구를 활용해 수행된다. Scenario Runner는 시나리오를 정의하는 핵심 툴로, 주행 환경(맵, 날씨 등)뿐만 아니라, 시나리오 내에서 움직이는 차량, 보행자 등의 초기 상태 및 이벤트 정보를 설정할 수 있다. 이 데이터를 MORAI SIM과 연동해 실행하면, MORAI SIM의 물리 엔진, 동역학 모델, 센서 모델을 활용해 테스트를 수행하고 결과를 분석할 수 있다. 이를 통해 다양한 도로 환경과 주행 조건에서 자율주행 시스템의 성능을 평가하고 개선할 수 있다.




MORAI의 시나리오 테스트 워크플로 



모라이의 시나리오 테스트 환경은 OpenSCENARIO 1.2 버전까지 지원하며, Scenario Runner를 통해 제작된 시나리오를 순차적으로 실행할 수 있다. 특히, 다수의 시나리오를 한 번에 검증해야 하는 경우, MORAI Cloud를 활용해 여러 개의 인스턴스에서 시나리오를 병렬적으로 실행하는 것이 가능하다. 이를 통해 테스트 시간을 단축하고 보다 효율적인 대규모 시나리오 검증이 가능하다.

이와 같은 MORAI SIM의 시나리오 테스트 환경은 자율주행 시스템이 현실적인 도로 환경에서 어떻게 작동하는지 평가할 수 있도록 지원하며, 다양한 상황에 대한 반응성과 신뢰성을 높이는 데 기여한다.




Scenario Runner를 활용한 다양한 시나리오 제작 사례     



시나리오 테스트 셋 구축 전략  

자율주행 시스템의 안전성을 확보하기 위해서는 다양한 주행 환경을 고려한 의미 있는 시나리오 테스트 셋 구축이 필수적이다. 시나리오 테스트 셋은 여러 접근 방식을 통해 설계될 수 있으며, 모라이는 네 가지 주요 방법을 기반으로 시나리오 셋 구축을 지원한다.


1. 사양서 및 인증 항목 기반 시나리오 구축 
Euro NCAP과 같은 사전 정의된 평가 사양서를 기반으로, 시뮬레이션에서 테스트할 수 있도록 시나리오를 구성한다. Euro NCAP은 유럽에서 첨단 운전자 지원 시스템(ADAS) 평가를 위한 테스트 셋을 제공하며 급정거하는 선행 차량, 사각지대에서 갑자기 등장하는 보행자 등 다양한 위험 상황을 설정해 시스템의 반응을 평가한다.
이와 유사하게 UNR157 및 부분 자율주행 시스템의 안전기준 등 여러 인증 항목에서도 정의된 시나리오를 기반으로 테스트 셋을 구축할 수 있다. 






2. ISO 21448 기반 시나리오 설계 
ISO 21448(SOTIF) 표준에서는 시스템이 예측하지 못한 변수로 인해 발생할 수 있는 위험 요소를 분석하고, 이를 해결하기 위한 시나리오 요소를 제안한다. 이를 바탕으로 각각의 테스트 요소를 조합해 리스크를 평가하는 방법론을 제공하며, 모라이의 시뮬레이션 제품군은 이런 방법론을 활용해 다양한 테스트를 지원한다.

특히, 다음 그림과 같이 MORAI SIM은 도로 형상을 자유롭게 변경하거나, 날씨 및 시간 조건을 조정하며, Proving Ground (PG)와 같은 실험 환경뿐만 아니라 오프로드(Offroad) 환경까지 포함하는 다양한 조건에서 SOTIF 기반의 시나리오를 테스트할 수 있도록 지원한다. 이를 통해 시스템의 안전성을 충분히 검증하고 잠재적인 리스크가 수용 가능한 수준인지 평가할 수 있다.





도로 형상에 따른 테스트 예시



3. DDT Failure, Fallback, ODD Exit 기반 테스트
자율주행 시스템이 더 이상 주행을 지속할 수 없는 상황을 테스트하기 위해서는 DDT(Dynamic Driving Task) Failure, Fallback, ODD(Operational Design Domain) Exit 시나리오가 필요하다. 이런 시나리오는 예측 불가능한 차량 시스템 고장, 센서 오류, 도로 이탈 등의 상황을 포함하며, 시스템이 적절한 대응을 수행할 수 있는지를 검증하는 데 중점을 둔다.

예를 들어, 아래 그림과 같이 타이어 펑크, 센서 고장, 차량 시스템 일부 손상 등의 시나리오를 적용해 자율주행 시스템의 대처 능력을 평가할 수 있다. SOTIF 기반 시나리오가 위험 요소를 탐색하는 것에 집중한다면, Fallback 관점에서는 위험 요소 발생 시 차량이 이를 어떻게 대응하는지 테스트하는 것이 핵심이다.




DDT Failure 예시



4. 데이터 기반 시나리오 생성   
마지막으로, 설계자가 직접 시나리오를 생성하는 것이 아니라, 실제 데이터를 기반으로 시나리오를 자동 생성하는 방식도 활용될 수 있다. 특히, 자율주행 차량과 일반 차량이 혼재된 도로에서 발생하는 실제 사고 데이터를 기반으로 사고 재현 시나리오를 구성하고 분석할 수 있다. 이런 데이터 기반 접근 방식은 보다 현실적인 주행 조건을 반영할 수 있으며, 자율주행 시스템의 안전성을 더욱 효과적으로 검증하는 데 기여한다.



결론 
지금까지 자율주행 시스템의 안전성을 확보하기 위한 시나리오 기반 검증의 개념과 중요성을 살펴보고, 이를 실제 자율주행 검증 과정에서 어떻게 활용할 수 있는지를 살펴봤다. 자율주행 기술이 실도로에서 안전하게 운행되기 위해서는 다양한 주행 환경과 복잡한 변수에 대비할 수 있는 시나리오 테스트가 필수적이며, 이를 통해 시스템의 신뢰성을 강화할 수 있다.

이를 효과적으로 수행하기 위해 ASAM OpenSCENARIO 및 OpenX 표준을 기반으로 테스트를 정의하고 실행하는 방식이 점점 더 중요해지고 있으며, MORAI SIM은 이런 표준과의 호환성을 제공해 OpenDRIVE 및 OpenSCENARIO로 정의된 시나리오 테스트를 지원하고 있다. 또한, MORAI는 표준 준수를 넘어 자율주행 시스템 검증을 위한 다양한 시나리오 테스트 셋을 구축하고, 이를 활용한 고도화된 검증 솔루션을 제공하는 데 집중하고 있다.

향후 자율주행 기술이 상용화 단계로 진입하면서, 시뮬레이션 기반 검증의 역할은 더욱 중요해질 것이다. MORAI는 지속적인 기술 개발과 표준화된 검증 시스템을 구축해 자율주행 시스템의 신뢰성을 높이고, 보다 안전하고 효율적인 자율주행 환경 조성에 기여할 수 있도록 최선을 다할 것이다.

---