자율주행을 위한 테스트 방법론을 정의하기 앞서 테스트 자체의 목적을 설정하는 것이 도움이 된다. 대체로 테스트는 세 가지 범주로 나뉜다. 물론, 각 범주들은 서로 다른 접근법을 요구한다.

자율주행 차량이 정해진 기준을 충족하고 운전자의 기대에 따라 성능을 발휘하도록 보장하는 일부 테스트는 원칙적으로 업계가 새로운 기술을 도입하기 위해 항상 필요했던 테스트 종류와 다르지 않다. 즉 올바른 테스트를 정의하고 차량이 그 테스트를 통과하도록 반복하는 것이다.

하지만 다른 부분에서 새로운 패러다임의 변화를 더 많이 포함한다. 자동차가 점점 더 디지털 세상과 연결되면서, 신호 스푸핑(signal spoofing) 및 악용의 실제 피해 대상이 되고 있기 때문에 보안에 대한 완전히 새로운 접근방식이 필요하다. 그리고 자동차가 서로 더 많이 연결되면서, 시스템 상호운용성이 실제로 문제가 되고 있다. 130년 역사상 처음으로 자동차 산업은 하나의 역할, 즉 진정한 팀플레이를 보여줘야만 하는 때이다.

목표1: 적합성 및 상호운용성 테스트

자율주행 차량은 도로변의 기반 시설과 상호작용해야 하며, 마찬가지로 차량간에도 상호작용해야 한다. 이는 모든 제조사가 합의된 공통의 사양을 준수해야 함을 의미한다.

모든 새로운 자동차 기술과 마찬가지로 컨슈머 기술에 대한 신뢰도는 채택에 필수적일 것이며, 특히 안전에 영향을 미치는 고장 요인은 실제 비난 대상과는 상관없이 관련된 브랜드 전체에 직접적인 영향을 미칠 것이다.

그러나 다양한 측면에서 상호운용성은 자동차 부문의 새로운 도전과제이다. OEM과 그들의 공급망은 자체 표준을 설정, 충족 및 감독하는 데 있어 탁월한 실적을 가지고 있음에 분명하지만, 공유 프로토콜을 기반으로 하는 직접적인 상호운용성은 많은 자동차 테스트 엔지니어가 처음으로 직면하게 될 것이다.

다행스럽게도 다른 부분들, 특히 IT 부분은 잘 확립된 작업 방법 덕분에 이 분야에서 보다 앞선 출발점을 제공할 것으로 기대되며 미국과 EU의 규제 기관들은 새로운 프로토콜에 대한 분명한 지침을 주고 있다.

그러므로 해당 부문의 제조업체들은 새로운 자율주행 차량이 각 구역의 관련 프로토콜을 완전히 준수하는지 확인할 수 있는 테스트 케이스(test case)를 규정할 필요가 있다.

ITS-G5와 WAVE/DSRC는 둘 다 IEEE 802.11p에 기반을 두고 있지만, MAC 계층의 프로토콜 사양은 상당이 다르다.

목표 2: 기능 및 성능 테스트

합의된 규약을 준수하는 것은 단지 첫 번째 단계일 뿐이다. 다른 자동차 시스템과 마찬가지로, 모든 커넥티드 카가 안전하고, 정상적으로 동작하며, 사용자가 기대하는 방식으로 실제 상황 및 문제에 대응하는지 테스트하는 것이 무엇보다 중요하다.

다음은 테스트를 위한 합리적인 프레임워크를 보여주고 있다:

• 무선 채널 장애, 수신 장애, 의도적 및 우발적 사이버 공격과 같은 실제 발생할 수 있는 문제에 대한 대응 평가
• 다른 OBU(on-board units)와 RSU(roadside units)를 포함하여 환경의 복잡성을 확장하고, 변화하는 다양한 ITS 통신 메시지에 어떻게 시스템이 동시에 대처하는지 확인
• 시스템의 한계 조건 이상의 가혹 조건에서 동작시켜 고장 지점을 찾고, 허용오차를 평가하고, 시스템이 어떻게 작동하는지 확인
• 테스트 대상 장치(DUT)의 동작방식을 캡처하고, 성능 비교를 가능하게 하고, 예상대로 응답했는지 여부를 명확히 확인
• 해당되는 경우 software-in-the-loop(SiL) 및 hardware-in-the-loop(HiL)을 모두 포함한 구성요소 및 시스템 수준에서의 테스트 수행



목표 3: 보안 확인

사양 준수 또는 시스템 성능 및 기능에 대한 테스트와 함께 점점 더 현실적인 위협의 수가 증가하고 있는 상황에서 선택된 테스트 접근법이 보안 사양을 통과할 수 있도록 하는 것이 중요하다:

고의적이고 우발적인 방해(jamming). 시가잭을 통하여 텔레매틱스 시스템을 차단하는 자체 내장형 신호 방해 장치는 온라인에서 쉽게 구할 수 있다. 현재 GPS를 통해서 해당 문제를 해결하고자 하고 있지만, 도로통행료나 혼잡통행료를 피할 수 있는 기회가 생긴다면 이와 같은 장치들이 점점 더 흔해질 것이다.

마찬가지로, 인근 라디오 방송장비와 같은 다른 신호원은 차내 시스템을 우발적으로 방해할 수 있다.



진화된 해킹 및 스푸핑. C-ITS는 해커들에게 자동차 시스템으로의 직접적인 침입 경로를 제공한다. 그 기회를 남용하는 기술과 노하우 역시 널리 이용 가능하다. 그러한 시스템이 더 자동화될수록 공공 기물 파손, 도난의 위험성을 증대시키며, 차량 탑승자를 고의로 위험에 빠뜨릴 수도 있다.

소비자 수준 스푸핑. 중대 범죄를 시도한다거나 고의로 생명을 위태롭게 하는 시도가 없어도 가짜 C-ITS 신호를 방송할 수 있는 능력은 잠재적인 이익을 노리는 일부 비양심적인 소비자들에 의해 악용될 소지가 높다. 이를테면 고의로 사고를 보고하여 특정 경로를 검색 기준에서 제외할 수도 있으며, 비상 차량의 서명을 위조하여 도로 이용 우선권을 얻을 수도 있다.

이러한 상황을 방지하기 위해, 자동차 산업 전체는 이러한 위조 신호를 솎아낼 수 있는 시스템을 개발해야 할 것이다.

많은 자동차 테스트 엔지니어들에게 이러한 우려는 완전히 새로운 영역이며, 끊임없이 진화하는 위협들을 앞지를 수 있는 새로운 작업 방식을 요구한다. 그러나 더 많은 커넥티드 카가, 그리고 C-ITS가 그들의 운영에 중심에 설수록 이러한 공격은 가능성뿐만 아니라 불가피하게 될 것이다.

이러한 위험을 완화하기 위해 자율주행 차량은 견고하고, 신뢰할 수 있어야 하며, 공격받는 것을 인식할 수 있어야 한다. 또한 이러한 기능이 사전에 테스트되어야 함은 말할 것도 없다.

어떤 자동차 브랜드든 산재되어 있는 보안 공격의 첫 희생자의 불명예를 얻기 원하지 않을 것이다. 때문에 ITS 테스트 장비는 현재와 미래의 위협을 재현할 수 있는 유연성을 포함해야만 한다. 환경설정이 가능한 GUI 기반 에뮬레이터가 필요한 제어 기능을 제공한다.



테스트 방법 : 실험실 vs. 필드 테스트

실제 도로에서의 주행 테스트는 자동차 시스템을 개발하는 데 있어 핵심 요소임에 틀림없지만 실험실 기반 테스트 역시 중요한 역할을 한다. 두 가지 접근법은 상호보완적인 강점을 가지고 있다.



실험실 기반 테스트

실험실 벤치에서의 테스트는 시스템의 동작을 평가하고 비교하기 위하여 시뮬레이션하거나 또는 사전에 기록한 signal 데이터를 활용할 수 있으며 주요 장점은 다음과 같다:

정확도(Precision): 속도나 방향, 타이밍 및 위치와 같은 파라미터는 명확하며, 운전자의 오류나 해석의 영향을 받지 않는다. 예를 들어 지정된 타이밍에서의 제동이나 가속을 재현한다고 할 때, 필드에서 테스트하는 것보다 더 쉽고 정확하게 재현할 수 있다. 이를 통하여 “진실(truth)”에 가까운 데이터를 얻을 수 있으며 이들의 비교, 분석에 대한 정확도를 높일 수 있다.

반복성(Repeatability): 필드 테스트에서는 차량의 동적 위치를 재현할 수 있다고 하더라도 대기조건과 위성의 위치 같은 다른 요소들이 지속적으로 변화하기 때문에 정확히 같은 주행을 하는 것은 불가능하다. 하지만 실험실에서라면 얘기는 다르다. 원하는 조건에 맞춰 원하는 만큼 시뮬레이션이 가능하다.

비용 및 시간 효율성(Cost & time efficiency): ITS의 테스트 케이스는 무한하기 때문에 만약 필드에서 테스트를 하고자 한다면 그에 따른 비용이 천문학적일 것이다. 하지만 실험실 테스트의 경우, 각각의 테스트 케이스에 대한 추가 비용은 무시할 수 있으며 자동화할 수 있기 때문에 한 엔지니어가 하룻밤 사이에, 또는 다른 작업과 병행하여 실행할 수 있다.

다용도(Versatility): 초기 구성요소 비교 및 선택(신속한 반복으로 시장 출시 기간을 단축할 수 있는 경우)부터 통합 HiL 테스트 등 제품 라이프 사이클의 모든 단계에서 실험실 테스트를 수행할 수 있다. 또한 필드 테스트를 시작하기 전에 시스템에 대한 높은 수준의 신뢰도를 얻는 목적으로도 사용될 수 있다.

안전성(Safety): 실험실에서의 테스트는 테스트 시 인명 및 타인의 재산 피해를 0으로 할 수 있다. 예를 들어 교차로 충돌위험 경고(ICRW) 시스템이 활성화되지 않는 경우를 테스트한다고 했을 때, 운전자를 위협하지 않고 빠르게 움직이는 차량으로 테스트할 수 있다.

하지만, 실험실 기반 테스트는 엔지니어가 관련된 상황의 시뮬레이션 옵션을 off 한다면 절대로 발생하지 않기 때문에 특정 상황에서 특정 고장이 발생하지 않을 수 있다. 따라서 실제와 괴리가 있을 수밖에 없다. 실제로 일부 기능, 특징 및 고장 상태는 실험실 기반 테스트로 정확하게 재현할 수 없을 수 있다.



필드 테스트

실제 주행 테스트는 실제 자동차의 모든 시스템이 동작 중이라는 것을 의미하며 말 그대로 ‘실제’ 상황을 구현할 수 있다. 하지만 이는 느리고 비싸며 정확하지 않다. 시스템의 고장은 운전자의 위험을 초래할 수 있으며 반복하기 어려울 수 있다.

그럼에도 실제 주행 테스트는 다음의 두 가지 중요한 장점을 가지고 있다:

현실성(Realism): 테스트 케이스는 사용자가 실제로 사용할 때 발생할 법한 경우들을 바탕으로 만들어진다. 따라서 테스트 엔지니어는 실제로 시스템을 사용할 때 시스템의 작동방식을 훨씬 정확하게 반영하여 테스트를 할 수 있다. 이는 테스트 및 완제품의 완성도를 높인다.

불예측성(Unpredictability): 대부분의 시험실 테스트는 엔지니어가 만들어낸 세상에서 이루어진다. 따라서 테스트 파라미터는 명확하게 정의되고 계획되어 있다. 반면에 실제 테스트는 거의 모든 상황에 노출돼 있다. 즉 설계 시뮬레이션에 포함되거나 엔지니어가 미처 생각지 못한 실제 요인에 의해 야기되는 잠재적 문제들을 발견할 수 있는 가장 좋은 테스트 방법이다.

결론

ADAS와 자율주행 시스템을 제공하기 위해서 ITS 기술을 통합하려는 움직임은 끊임없이 이루어지고 있다. 이에 비례하여 자동차 테스트 엔지니어들은 처음으로 여러 가지 도전과제를 안고 있다. 가장 주목해야 할 점은 상호운용성 및 사이버 보안임에 틀림없다.

하지만 차량의 모든 구성요소가 운전자에게 가장 안전한 환경을 제공할 수 있도록 안정적이고 견고하며 비용효율적인 방법을 찾기 위한 대전제는 이전과 동일하다.

차세대 커넥티드 카를 위한 테스트 솔루션은 검증된 방법, 기술 및 기법을 기반으로 구축돼야 하며 유연하고 적응력이 뛰어난 엔지니어가 신속하고 비용효율적인 방법으로 올바른 테스트를 수행해야 한다.

수년간 테스트 엔지니어는 세계 최고의 자동차, 엔지니어링 및 시스템 테스트 팀과 협력하여 남보다 빠른 혁신을 이루어내면서 만족도 높은 결과를 제공하는 기술 솔루션, 프로세스를 개발해왔으며 앞으로도 이어질 것이다.