카메라 기반 자동차 시스템이 갈수록 확산되고 있음은 의심의 여지가 없다. 차선이탈 경고, 교통신호 인식과 같은 시스템이 미드레인지 및 보급형 모델로 급속히 이전되는 양상은 이러한 시스템 확산을 크게 낙관했던 사람들조차 의외라고 느낄 정도다. 카메라 기반 안전 시스템은 AEC-Q100의 장기 신뢰성 요구사항을 충족해야 하며, ISO 26262 기능안전성 표준에 따라 평가가 가능해야 한다. 또 악성 소프트웨어의 해킹과 IP 도난으로부터 보호하기 위한 적절한 수준의 하드웨어 보안을 제공해야 한다.

카메라 기반 자동차 시스템이 갈수록 확산되고 있음은 의심의 여지가 없다. 차선이탈 경고, 교통신호 인식과 같은 시스템이 미드레인지 및 보급형 모델로 급속히 이전되는 양상은 이러한 시스템 확산을 크게 낙관했던 사람들조차 의외라고 느낄 정도다. 이런 성장 속도가 저하될 가능성 또한 당분간은 없을 전망이다. 한 차량용 반도체 보고서에 따르면, 2020년까지 차량용 카메라 센서 시장은 연간 1억 개 수준을 초과할 것으로 보인다.

성장의 원동력은 무엇일까? 유로 NCAP(New Car Assessment Program)의 역할이 확실히 크다. 2016년부터 자동차 제조업체는 보행자 충돌을 감지하고 궁극적으로는 사고를 회피할 수 있는 시스템에 대한 평가 점수 비중이 높아질 것으로 보고 있다.

이러한 기능을 ‘반자동 기능’이라고 한다. 보행자를 식별하고 충돌을 피하기 위해 제동(나아가 스티어링까지) 기능을 구현하는 카메라와 레이더 기반 기술은 NCAP 등급에서 5점을 받을 수 있다. 다만 현실적인 문제는 차량용 품질, 안전, 보안 등급을 충족하는 것이다. 인명 보호를 위해 고안된 시스템에서 이 세 가지 요소에 대한 타협은 용납되지 않는다. 구체적으로 보면, 카메라 기반 안전시스템은 AEC-Q100의 장기 신뢰성 요구사항을 충족해야 하며, ISO 26262 기능안전성 표준에 따라 평가가 가능해야 한다. 또 악성소프트웨어의 해킹과 IP 도난으로부터 보호하기 위한 적절한 수준의 하드웨어 보안을 제공해야 한다.

이 세 가지 기본적인 조건을 충족하는 동시에 사람과 사물을 감지하고 분류하는 데 필요한 애플리케이션 성능을 갖춘 솔루션을 개발하는 것은 현재 업계가 직면한 가장 어려운 과제 중 하나다. 사실 고도로 복잡하면서도 견고하고 안전한 강력한 보안 기능을 갖춘 ADAS 애플리케이션이 개발되지 않으면 자동, 자율주행 차량의 광범위한 도입도 요원한 일이다.

프리스케일 반도체는 2014년 5월 카메라 기반 ADAS 애플리케이션을 위한 임베디드 하드웨어 및 소프트웨어 솔루션 제공을 목표로 뉴소프트 오토모티브(Neusoft Automotive)와의 파트너 관계 체결을 발표했다. 고품질의 자동차용 마이크로컨트롤러를 공급해온 프리스케일의 오랜 전통과 뉴소프트의 첨단 자동차 비전 소프트웨어 개발 역량은 견고하고 안전하며 강력한 보안을 갖춘 반자동 기능을 구현하기 위한 이상적인 파트너십이다.

유연한 공개 솔루션을 구축하기 위한 목적으로 프리스케일은 전력 소모량과 비용 측면에서 많은 타협 없이 최대한 폭넓은 프로그래밍 기능을 갖춘 플랫폼을 유지하는 데 집중하고 있다. 이러한 목적을 달성하기 위해 프리스케일의 S32V234 제품군에는 여러 가지 프로그램 가능한 애플리케이션별 가속기가 포함돼 있다. 각 가속기는 ADAS애플리케이션에 필요한 처리 파이프라인의 특정 영역에 맞춰 설계된다.



일반적인 카메라 데이터 사전 처리를 수행하기 위해 프리스케일 플랫폼에는 프로그램 가능한 이미지 신호 처리(ISP) 블록이 포함돼 있는데, 이 블록은 적분 이미지 또는 HOG(Histogram of Oriented Gradient) 처리와 같은 컴퓨터 비전 단계의 작업을 수행하는 데도 적합하다.
전통적인 컴퓨터 비전 알고리즘은 IP제공업체 코그니뷰(CogniVue)의 APEX2엔진의 두 인스턴스를 사용해 가속된다.

APEX2 엔진은 비전 처리에 최적화된 64개의 연산 엔진이 포함된 초대형 병렬 시스템이다. 이 시스템을 APEX 코어 프레임워크(ACF)라는, 애플리케이션 개발자 시점에서 복잡한 기반의 상당 부분을 숨기는 소프트웨어 계층이 지원한다.

비전 처리에는 비선형 프로그램 흐름 또는 부동소수점 연산이 필요하다. S32V234는 4개의 ARM Cortex A53 코어를 통해 9200 드라이스톤(Dhrystone) MIPS라는 범용 RISC 성능을 제공한다. 특정 알고리즘에 대한 성능을 더욱 높이기 위해 4개의 ARM 코어에는 모두 SIMD(Single Instruction Multiple Data) 확장 NEON이 포함된다.

또한 이 제품군에는 서라운드 뷰 솔루션을 타깃으로 하는 매력적인 그래픽 HMI를 실현하기 위해 크로노스(Khronos) 표준 OpenGL ES3.0, OpenVG 1.1 및 OpenCL™ 1.2를 충족하는 고성능 그래픽 처리 유닛도 포함된다. 비반테(Vivante)의 GC3000 GPU는 1.2 GPixels/sec의 픽셀 레이트와 200 MTriangles/sec의 지오메트리 레이트를 실현한다. GPU 쉐이더는 최대 39 GFLOPs/sec의 성능을 제공한다.

프리스케일은 다양한 가속기에 입력 데이터를 제공하는데 필요한 메모리 대역폭을 확보하기 위해 데이터 전송을 최대한 시스템온칩(SoC) 내에 두기 위한 정교한 계층적 메모리 구조를 구현했다. 이 아키텍처는 두 가지 목적을 한 번에 달성한다.

즉 필요한 외부 메모리 소자의 수와 칩 경계 너머로 신호를 구동하는 데 필요한 전력을 줄여준다. 이 두 가지는 ADAS 시스템의 주요 비용 인자다. 프리스케일은 이 기술을 사용해 비용 측면의 타협 없이 50 GB/sec영역에서 달성 가능한 메모리 대역폭을 더 높일 수 있었다.

이런 고도로 프로그램이 가능한 애플리케이션별 프로세서와 여기에 적합한 메모리 서브시스템으로 구성된 세트를 보완하는 요소는 ISO 26262 준수 애플리케이션을 실현하기 위한 다양한 수단이다. 가용한 하드웨어를 가장 효율적인 방법으로 사용하고자 안전 측면의 타협 없이 핵심 리소스의 중복을 최대한 피하는 것을 설계 목표로 삼았다.

따라서 필요한 장애 대응을 달성하기 위해 부가적인 장치가 도입됐다. 경우에 따라 이는 하드웨어와 소프트웨어의 절묘한 조합을 통해 달성된다. 이로써 RISC 플랫폼에서 가용한 9.2 K DMIPS에 대한 타협 없이 ASIL B 애플리케이션에 적합한 시스템온칩이 가능해진다.
ECU와 S32V234에서 실행되는 소프트웨어의 보안을 확보하기 위해 ECU는 필드에서 검증된 보안 모듈로 구성된다. 이 모듈이 실행 중인 소프트웨어의 신뢰성을 확인하고 소프트웨어 IP를 보호한다.

CSE(Cryptographic Service Engine) 보안 모듈은 HIS SHE API 사양을 준수한다.
S32V234의 기술적인 세부사항은 이렇게 복잡하고 성능 집약적인 ADAS 기능을 실행하기 위해 얼마만큼의 노력이 필요한지 잘 보여준다. 프리스케일 파트너인 그린힐스 소프트웨어(Green Hills Software)는 플랫폼의 효율적인 사용을 촉진하기 위해 프리스케일 플랫폼을 위한 안전 인증을 거친 INTEGRITY 실시간 운영체제(RTOS)를 제공한다. 애플리케이션 부문에서는 프리스케일의 또 다른 파트너인 뉴소프트(Neusoft)가 필드에서 검증된 알고리즘을 이미 반도체 이전(pre-silicon) 단계에 있는 프리스케일 플랫폼으로 이식하는 작업을 시작했다. 따라서 반도체가 완성되는 대로 빠르게 상품화가 가능할 것이다.

뉴소프트는 자동차용 임베디드 시스템을 위한 임베디드 소프트웨어, 소프트웨어 설계 및 소프트웨어 아키텍처 개발 부문의 글로벌 선두 업체다. 세계 곳곳에 20,000명 이상의 직원을 둔, 20년 이상의 역사를 자랑하는 뉴소프트는 중국 최대 IT 기업 중 하나다.
뉴소프트는 인포테인먼트 시스템, 자동차 연결 및 운전자 지원을 위한 소프트웨어 솔루션을 제공한다. 비전 기반 ADAS 알고리즘은 2005년부터 개발하기 시작했다.

현재 70명 이상의 소프트웨어 엔지니어가 ADAS 기능을 개발하면서 복잡한 교통상황에서의 비전 기반 사물 인식 및 환경 감지를 위한 고도로 정확하고 견고한 소프트웨어 솔루션을 제공하고 있다. 가용한 전체 소프트웨어 알고리즘 세트는 모든 비전 기반 ADAS기능을 지원하게 된다(예: 보행자 감지, 차선이탈 경고, 교통신호 인식, 움직이는 사물 감지, 사각지대 감지(BSD). 차선이탈 경고, 교통신호 인식 및 움직이는 사물 감지는 아시아 시장의 OEM과 티어 1 업체에 채택됐다.

비전 기반 소프트웨어

소프트웨어 개발의 과제는 크게 신뢰성, 유연성, 실현 가능성의 세 가지다.
신뢰성 측면부터 살펴보자. ADAS 기능에서 안전이 차지하는 중요성이 갈수록 커지고 있다.

기능상 안전과 연결된 보안 요구사항은 현재 잘 알려져 있다. 이러한 요구사항은 반드시 이행해야 하는 것이다. 기능적인 소프트웨어는(다양
한 교통 환경과 조명 조건에서) 안정적이고 정확한 사물 및 환경 인식을 제공해야 할 뿐만 아니라, 동시에 실시간 요구사항도 충족해야 한다.
이는 소프트웨어 설계자에겐 딜레마다. 한편으로는 기계학습, 신경망과 같은 첨단 분류 방법을 더 많이 도입하고 다양한 인식 방법의 결과를 병합해 애플리케이션의 성능을 개선해야 한다. 다른 한편으로 실시간 구현을 위한 부가적인 부담을 필연적으로 수반한다. 따라서 소프트웨어는 모든 요구사항을 고려해 세밀하게 설계 및 최적화돼야 한다.

유연성

ADAS 시스템을 개발하거나 제공하는 거의 모든 OEM과 티어 1 업체는 같은 기능에 대해 비슷한 이름을 사용한다. 그러나 똑같은 솔루션은 없다. 모든 고객마다 고유한 요구사항이 있다. 프로젝트 환경도 제각각 다르다.

다양한 하드웨어 환경과 다양한 장착 위치를 고려해야 한다. 소프트웨어는 다양한 카메라 유형과 해상도를 지원하고 여러 형태의 사물 인식을 지원할 수 있도록 충분히 유연해야 한다. 소프트웨어 솔루션은 적절한 노력으로, 품질에 최소한의 영향을 미치면서 기능 조정, 현지화 및 맞춤화를 수행할 수 있도록 손쉽게 구성 또는 조정이 가능해야 한다.

ADAS 소프트웨어는 실현 가능성도 충족해야 한다. 알고리즘은 효율적으로 구현되어 최소 수백 시간 동안 안정적으로 작동해야 한다. 또한 낮은 전력 소모, 예외 용인 및 오류 감지 기능도 고려해야 하며, 이로 인해 ADAS 기능의 개발이 더 복잡하고 어려워진다.

퓨전

ADAS 개발과 관련해 이런 과제를 해결하기 위한 핵심은 첨단 하드웨어나 컴퓨터 비전 알고리즘만 사용하는 것이 아니라, 이 두 가지를 최적으로 조화시키는 것이다.

프리스케일과 뉴소프트는 S32V 설계의 극초기 단계부터 기술과 관련해 긴밀한 커뮤니케이션을 유지했다. ADAS 알고리즘의 잠재적 병렬 처리 속도를 높이기 위한 최선의 하드웨어 지원을 제공하기 위해 ADAS 알고리즘의 다양한 유형(작업 병렬, 데이터 병렬, 파이프라인 병렬)과 수준(작업 수준, 루프 수준, 명령어 수준)의 병렬 처리에 대한 연구가 진행되고 있다.

10개 이상의 중요 연산 패턴이 추려졌고, 이 중에서 6가지가 가장 많은 시간을 소비하는 것으로 확인됐다.
상기 결과에 대한 이해를 바탕으로 S32V에서 다양한 유형의 연산 단위가 제공 및 통합된다.

ADAS 소프트웨어 솔루션의 뼈대는 다계층 소프트웨어 파이프라인, 저수준 이미징 처리를 위한 ISP, 중간 수준 기능 추상화와 분류를 위한 APEX2, 그리고 고수준 조율 및 정보 융합을 위한 CPU로 구성된다. 프리스케일이 2013년에 제공한 FPGA 시뮬레이션을 통해 적분 이미지 계산, 객체 특징 추출 및 분류와 같은 주요 알고리즘이 최적화 됐다. S32V를 사용할 수 있게 되면 주요 알고리즘 속도가 최대 20배 더 빨라질 것으로 예상된다. 숙련된 개발 팀과 고품질의 개발 절차 및 프로세스가 ADAS 소프트웨어 연구 및 개발을 이끌었다.

알고리즘은 필수 리소스, 검증 조건 및 예외와 장애에 대한 동작을 명시적으로 선언해야 한다. 이는 기본적인 소프트웨어 블록을 자체 완성형으로, 독립적이고 유연하게 만들기 위해 연구 단계의 극초반부터 필요한 요소다. 전체 소프트웨어 구조는 하드웨어 숨김 계층, 인지 계층, 결정 계층과 HMI 계층으로 구성된다.

인지 계층이 핵심적인 부분이다. ISP 또는 APEX2 기반의 최적화된 주요 알고리즘은 인지 계층에 상주하는 라이브러리로 구성된다. 이러한 작업은 최종 ADAS 솔루션이 ISO 26262와 같은 자율성 등급 표준의 높은 안정성을 충족하기 위한 견고한 토대가 된다.

뉴소프트의 목표는 프리스케일, 코그니뷰, 그린힐스와 같은 유력한 파트너와의 긴밀한 협력을 통해 공개 ADAS 기능 솔루션을 제공하는 것이다. OEM과 티어 1은 다양한 유형과 수의 카메라 센서를 선택할 수 있으며 다양한 ADAS 기능 조합을 선택할 수 있다.

이러한 연계 시스템의 유연성 덕분에 고객은 그 이상도 그 이하도 아닌 정확히 자신이 원하는 것을 찾을 수 있게 된다. 이 접근방식은 안전하
고 보안이 뛰어나며 신뢰할 수 있는 ADAS 솔루션을 경쟁력 있는 가격에 제공할 수 있도록 보장한다.

전망

현재 뉴소프트는 차선이탈 경고, 보행자 감지 및 교통신호 인식의 주요 알고리즘을 S32V의 FPGA 시뮬레이터로 이식하는 작업을 마쳤다. 다음으로 뉴소프트는 전면, 후면 및 주변 ADAS 기능(사각지대 감지, 교통신호 인식, 움직이는 사물 감지, 서라운드 지원 시스템)을 포함해 S32V에서 완전한 비전 기반 솔루션을 제공하게 된다. 뉴소프트는 더 안전하고 편리하며 편안한 교통 환경을 구축하는 데 크게 기여하게 될 것이다.