Arm, ADAS용 이미지 신호 프로세서 IP 출시

Arm은 자동차 애플리케이션의 성능과 안전 기준을 충족하도록 개발된 프로세서 IP 포트폴리오에 새롭게 Mali-C78AE 이미지 신호 프로세서(Image Signal Processor, ISP)를 추가했다고 21일 밝혔다.

Mali-C78AE는 기존 Cortex-A78AE CPU 및 Mali-G78AE GPU와 결합해 성능을 최적화하고 전력 소비를 최소화하며 기능 안전성에 대한 일관된 접근방식을 제공하는 완전한 첨단운전자보조시스템(ADAS) 비전 파이프라인을 제공한다. 

Mali-C78AE는 다양한 ADAS 기능에 필요한 휴먼 비전과 머신 비전 안전 애플리케이션을 모두 처리하도록 특별히 설계됐으며, 최대 4대의 실시간 카메라 또는 16대의 가상 카메라에서 데이터를 처리할 수 있다. 

Mali-C78AE는 처음부터 시스템 설계자가 ISO 26262 ASIL B 기능 안전성 요구사항을 충족할 수 있도록 하드웨어 안전 메커니즘과 진단 소프트웨어 기능을 통해 개발됐다. Mali-C78AE는 프레임 데이터를 잘못 처리할 수 있는 단일 카메라 프레임의 결함을 방지하거나 감지하는 것을 목표로 한다. 이를 위해 ISP는 380개 이상의 결함 감지 회로와 지속적인 자체 테스트 기능이 내장돼 있으며, 연결된 카메라의 센서 및 하드웨어 결함을 감지할 수 있다. 

안전과 사용자 경험만큼 중요한 것은 Mali-C78AE의 핵심 요소인 처리 속도다. 센서에서 수집된 이미지가 ISP를 거쳐 GPU를 통해 운전자의 화면에 표시되는 과정은 150밀리초 내에 이뤄져야 한다. 이보다 긴 시간이 소요될 경우, 예컨대 주차 보조 기능 등을 사용할 때 불편함을 느낄 수 있다. 한편, 머신 비전 애플리케이션에서 수집된 카메라 이미지가 의사결정을 위해 전달될 때까지 차량은 250mm 이상 이동해서는 안 된다. 이보다 더 이동할 경우, 정확하고 적시의 결정이 핵심인 주행 상황에서 머신 비전 시스템이 반응하기에 너무 느리다는 것을 의미한다. 

운전자와 기계가 최상의 결정을 내릴 수 있도록 ADAS 카메라는 각 프레임에서 가능한 가장 관련성이 높은 정보를 수집해야 한다. Mali-C78AE는 고급 노이즈 감소 기술과 다이내믹 레인지(Dynamic Range) 관리 기술을 채택해 프레임에서 지나치게 어둡거나 밝은 영역을 조정함으로써 각 프레임이 선명하고 올바르게 노출될 수 있도록 한다. Mali-C78AE는 최대 4대의 고해상도 및 고프레임률 카메라에서 카메라 데이터를 실시간으로 처리할 수 있어 메모리, 통신, 처리 요구사항을 대폭 줄임으로써 보다 효율적인 시스템을 구축한다. 

여러 ADAS 기능을 구현하기 위해서는 개별 카메라 설정이 필요하다. 이는 차선이탈경고 등 머신 비전 애플리케이션에 사용되는 카메라는 서라운드 뷰(Surround View)와 같이 인간의 시야에 적합한 이미지를 생성하지 않기 때문이다. 다양한 ADAS 기능을 구현하는 비용을 줄이기 위해 Mali-C78AE는 머신 비전에 최적화된 센서 출력을 다운스케일링하고 색상을 변환하여 사람의 눈에 맞는 이미지를 생성함으로써 카메라 센서를 이중 목적으로 사용할 수 있게 한다. 또한, OEM은 카메라와 관련 전자 제품 및 배선에 대한 중복 사용을 방지함으로써 비용과 복잡성을 줄일 수 있다. 이에, 다양한 자동차 모델에 걸쳐 카메라 기반 ADAS 기능을 보다 광범위하게 배포할 수 있어 운전자에게 더욱 안전하고 향상된 사용자 경험을 제공할 수 있다. 

한편, 모빌아이는 모빌아이 EyeQ Ultra와 EyeQ6H 개발을 시작했을 때 이미지 데이터를 효율적으로 처리하기 위해 Mali-C78AE를 채택했다. 또한, Mali-G78AE GPU를 함께 사용함으로써 애플리케이션의 까다로운 요구사항을 충족하는 데 필요한 안전 기능, 매끄럽고 직관적인 실시간 그래픽 렌더링 기능을 구현했다.

---