글｜한상민 기자_han@autoelectronics.co.kr

 

자율주행, 첨단 운전자 지원 시스템(ADAS)의 센서 세트에서 열화상 카메라의 필요성을 묻는 질문에 비오니어(Veoneer)의 크리스 반 댄 엘젠(Chris Van Dan Elzen) 부사장은 명확히 답했다. 

“자율주행을 위해 열화상이 필요하다고 믿습니다. 우리가 안전하게 차를 운행하려면 사람, 동물과 같은 감각을 가져야만 하고, 오브젝트가 있는 경우 동일한 것을 감지하는 멀티, 직교 전송 모달리티 감지(orthogonal sending modalities detecting)가 필요합니다.”

지난해 말 비오니어와 열화상 스페셜리스트 플리어 시스템스(FLIR Systems)는 레벨 4 자율주행차를 개발 중인 글로벌 톱 메이커에게 내년부터 그들의 차량용 열 감지 기술을 공급한다고 밝혔다. 또한, 플리어는 올 초 또 다른 선도적인 자율주행 기술회사와 이와 유사한 계약을 체결했다. 이처럼 비오니어, 플리어는 자율주행차의 안전성을 더욱 높이기 위해 좁고 넓은, 서로 다른 화각(FOV)을 가진 멀티 열화상 카메라를 자율주행 산업에 제공하기 시작했다.

이들은 자동차 산업에서 10년 이상의 경험을 바탕으로, GM, 폭스바겐, 아우디, 푸조, BMW, 메르세데스 벤츠 등의 운전자 지원 시스템(DAS), ADAS에 그들의 솔루션을 제공하고 있다.

반 댄 엘젠 부사장은 “비오니어는 현재 열 제품을 생산하는 유일 서플라이어입니다. 우리는 10년 넘게 전 세계 카 메이커를 대상으로 보행자와 동물을 감지하는 제품을 제공해왔습니다. 보행자 감지 기능을 갖춘 비오니어의 최초 시스템은 2005년 BMW와 함께 생산됐고, 2012년에 동물 감지 기능을 추가했습니다”라고 설명했다. 플리어의 경우는, 현재 비오니어의 최신 4세대 열 감지 시스템의 핵심인 열 감지 코어를 제공하고 있다.  

글로벌 16개 고객사에 대한 비오니어의 ADAS 및 자율주행 비즈니스(2019. 12월 현재)


감지 기술과 애플리케이션(비오니어)


보이지 않는 이점 

반 댄 엘젠 부사장은 “열화상 카메라는 낮과 밤 모두에서 잘 작동합니다. 나이트비전 이상입니다. 이를 통해 우리는 밝은 태양 아래서 어두운 터널 안의 사람을 감지할 수 있고, 먼지나 연기로 사람이 카메라 이미지에서 숨겨져도 감지할 수 있습니다. 또 일출, 일몰 상황에서도 마찬가지입니다. 밤에는 모든 방향으로부터 조명을 감지하는 능력까지 더합니다. 이것이 얼마나 중요한지는 명백합니다”라고 말했다. 

ADAS와 자율주행 플랫폼의 일차적 과제는 모든 주행 조건에 대응하는 것이다. 도로는 복잡하고 예측할 수 없는 상황들로 가득하며, 자동차는 매번 올바른 결정을 내리기 위해 가능한 많은 정보를 수집할 수 있는 올바른 센서 세트를 필요로 한다. 하지만 현재의 스탠더드 센서 세트는 레벨 3와 그 이상의 자율주행은 물론 레벨 2의 요구사항을 완벽하게 반영하지 못한다고 볼 수 있다. 그들에 따르면, 열화상 카메라를 포함하고 있지 않기 때문이다. 비록 많은 테스트 차량이 훌륭한 성능을 발휘한다 해도 실제는 다른 것이다.

열화상 카메라는 앞서 말한 야간, 그림자, 일몰, 일출과 같이 시인성이 낮고 대비가 높은 조건을 포함해 스탠더드 센서 세트 외 다른 센서 기술이 요구되는 상황, 즉, 직사광선이나 헤드라이트 때문에 눈부심이 심한 때, 안개나 연기와 같이 가시성 확보가 열악한 환경에서도 성능을 발휘할 수 있다. 열화상 카메라는 분석 기능과 결합돼 광범위한 도로 유형에서 물체를 감지하고 식별하는 데 도움이 돼, 특히 ADAS와 자율주행에서 가장 중요하게 여겨지는 사람, 기타 생물체를 감지하는 데 능숙하다.

야간에는 헤드라이트보다 최대 4배 더 멀리 있는 것을 볼 수 있고, 열을 발산하는 모든 것을 감지할 수 있다. 이런 ‘보이지 않는(invisible) 이점’은 기존의 센서 세트와 함께 새로운 데이터를 제공하면서 주행 안정성과 리던던시를 향상시켜 시스템이 보다 나은 의사 결정을 내릴 수 있도록 한다.

“플리어의 오토모티브 등급 열 감지 코어는 비오니어의 열화상 카메라 및 시스템의 핵심 컴포넌트로서, 지금까지 수십만 대의 승용차에서 효과적임을 입증했습니다. 이런 수치는 자율주행 애플리케이션을 위한 열 감지 기술의 가치를 보여 줍니다.” 플리어 시스템스 인더스트리 비즈니스 부문의 프랭크 페니시(Frank Pennisi) 사장이 말했다.



플리어의 와이드 FOV 열화상 카메라 시스템은 43 mph(70 kmh)의 속도에서 사람 운전자의 ‘패스트 리액션’ 정지거리(135 ft 또는 41 m)보다 두 배 이상인 약 280 ft(85.4 m)에서 보행자를 식별할 수 있다.

열화상 카메라는 터널, 야간, 안개, 비, 눈, 가려짐과 같은 까다로운 가시성 조건에서 열화상 가치를 보여준다.


보행자 감지 

자율주행차는 레벨 5 자율주행까지 모든 조건에서 자율적으로 환경을 인식하는데 사용되는 감지 및 식별 알고리즘과 적합한 장면 데이터 제공을 요구한다. 이것은 자동차 엔지니어들과 개발자들에게 도전적인 과제다. 현재의 레벨 2 ADAS 시스템에는 카메라, 레이더, 초음파가 사용되고 있고, 레벨 3, 4 테스트 플랫폼에는 라이더가 추가된다.

이들 센싱 기술은 각각의 장단점이 있다. 하지만 이같은 센서 세트의 융합에도 불구하고, 최근의 우버, 테슬라 등의 교통사고는 현재의 레벨 2, 레벨 3 플랫폼의 센서 세트로는 자동차, 특히 보행자를 완벽히 커버하기 힘들다는 것을 보여준다.

플리어 시스템스의 존 에거트(John Eggert) 자동차 사업개발 이사는 “플리어는 레벨 2 ADAS, 특히 자동 긴급제동 시스템(AEB)과 보행자 감지에서 열화상 카메라를 사용하는 것이 차량 안전성을 향상시킬 수 있는 좋은 기회라고 보고 있습니다. 예를 들어 AAA의 보고서는 AEB(주야간 보행자 감지 실패)의 단점을 잘 보여줍니다. 우리는 열 감지 기술이 이것을 개선할 수 있다고 생각했고 열화상 카메라와 레이더를 결합한 개념 증명 시스템을 매우 고무적인 초기 결과와 함께 시연해왔습니다”라고 말했다.(참고)

GHSA(Governors Highway Safety Association)에 따르면, 미국의 보행자 사망자 수는 최근 몇 년 동안 다른 교통 사망자 수보다 빠르게 증가했다. 지난 33년 동안 발생한 것보다 더 높은 교통 사망자 수 비율을 보였다. 특히, 2016년도 데이터를 보면, 전체 보행자 사망자 수 5,987명 중 75%가 날이 어두워진 뒤 발생했다. 이전의 사고들과 우리의 운전 경험이 말해주듯 낮에도 보행자를 보는 것은 어렵다. 또한 이와 관련 열화상 카메라의 필요성을 설명해주는 많은 경우의 운전 조건과 환경 조합은 무수히 많다. 어쩌면 이런 많은 경우에서, 실제로 열화상 카메라는 제대로 작동하는 유일한 감지 및 식별 기술일 수 있다.

대상 반사율과 대기 영향은 특히 오퍼레이팅 엔빌로프(envelope)의 한계, 센서 성능의 변수가 될 수 있다. 가시광선 카메라는 센서에 의해 받아지고 물체에 반사되는 태양, 가로등, 헤드라이트 등으로부터의 빛에 의존한다. 또 라이더는 레이저 라이트 에너지를 방출하고 광원의 비행시간을 측정해 반사 에너지를 처리한다. 레이더는 무선신호를 방출하고 회신 신호를 처리한다.

반면, 장파적외선(LWIR) 열 센서는 완전한 수동형으로, 가시광 카메라, 라이더, 레이더 대비 중요한 장점을 갖는다. 이 장점의 기초는, 모든 물체는 열 에너지를 방출한다는 사실에 기반해 광원에 의존하지 않는 것이다. 즉, 보행자에 대한 레이더나 라이더 신호는 인근 차량의 경쟁적 신호에 의해 방해받을 수 있다. 보행자가 두 대의 차 사이를 횡단하고 있거나 나뭇잎에 의해 부분적으로 방해 받는다면 보행자를 감지할 수 있는 신호가 거의 또는 전혀 감지되지 않을 수 있다. 하지만 수색 구조작전이나 밀리터리 애플리케이션에서 보듯 열화상 카메라는 이런 상황을 극복하고 볼 수 있다. 열 센서는 가시적인 형태가 아닌 열을 보기 때문에 부분적으로 가려진 사람과 동물을 분류하는 데 있어 가시광 카메라 대비 이점이 크다. 사람이나 동물의 열은 어수선한 배경이나 부분적으로 전경을 방해하는 것들로부터 자유롭다.

이처럼 LWIR 열화상 카메라는 대부분의 안개 조건, 어둠 속에서도 보행자를 감지하고 분류할 수 있고 햇빛의 눈부심에도 영향을 받지 않아 ADAS와 자율주행 시스템을 보다 견고하고 신뢰할 수 있는 상황인식 능력을 제공할 수 있다.

또, 레이더와 라이더 시스템은 그들이 수집하는 검출로부터 점밀도(point-density) 클라우드를 생성해 물체의 범위와 접근속도를 계산한다. 열악한 조명 조건, 야간, 눈부신 햇빛, 악천후 등은 일반적인 센서로는 식별이 완벽할 수 없다. 하지만 열 센서는 이러한 상황에서도 차량, 사람, 동물 및 기타 물체를 안정적으로 식별할 수 있다. 열화상 카메라는 주간주행에서도 똑같이 작동해 가시광 카메라에 대한 리던던시를 제공한다.

라이더, 레이더와 결합된 저조도 가시광 카메라는 기본적인 야간 성능은 제공하지만 약 165피트(50 m) 이상의 거리를 넘어가면 달라진다. 이 때부터는 열화상 카메라가 저조도 가시광 카메라보다 월등히 우수하면서 모든 조명 조건에서 일관된 이미지를 전달한다.

야간에는 헤드라이트보다 최대 4배 더 멀리 있는 것을 볼 수 있고, 열을 발산하는 모든 것을 감지할 수 있다.



멀티 FOV 카메라 

2018년 애리조나 탬피(Tempe)에서 발생한 우버의 자율주행 사고에 대한 NTSB(National Transportation Safety Board)의 보고서는 라이더, 레이더, 가시광 카메라 센서를 이용해 개발 중인 레벨 3 자율주행차에 의해 보행자가 치명상을 입었고, 센서가 처음에는 미지의 물체로, 다음에는 자동차로, 다시 자전거로 분류했다가 사람으로 식별했다고 밝혔다.

플리어는 와이드 FOV를 가진 그들의 FLIR ADK™와 기본 식별기를 통해 이 사고를 재현했다. 그 결과 열화상 카메라 시스템은 43 mph(70 kmh)의 속도에서 사람 운전자의 ‘패스트 리액션’ 정지거리(135 ft 또는 41 m)보다 두 배 이상인 약 280 ft(85.4 m)에서 보행자를 식별할 수 있었다. 폭이 좁은 FOV 열화상 카메라를 이용한 추가 실험에서는 보통의 전조등과 가시광 카메라가 일반적으로 볼 수 있는 거리보다 4배 더 먼 200 m 이상에서 보행자를 식별했다.

반 댄 엘젠 부사장은 “FOV는 수년에 걸쳐 다양화됐습니다. 픽셀 밀도가 증가함에 따라 동일 밀도에서 더 넓은 각도, 또는 더 긴 거리를 위한 동일 FOV에서 더 높은 해상도의 기회가 생겼습니다. 이에 따라 우리는 카 메이커들과 협력해 그들의 요구에 가장 적합한 솔루션을 최적화하게 됐습니다”라고 말했다. 

LWIR 열화상 카메라는 도로 위나 근처에 있는 모든 것에 의해 에너지가 방출, 반사 또는 전달되는 것을 감지한다. 특히 플리어의 카메라는 섭씨 0.05°의 낮은 온도 차이에도 매우 민감하게 반응한다. 또 VGA 열화상 카메라(640×512 픽셀)는 한 장면에 거의 모든 것, 심지어 도로의 중앙선까지 선명하게 보여줄 수 있다. 예를 들어 재현한 애리조나 탬피의 우버 사고 비디오 캡처는 페인트와 같은 도로 표면의 세부사항까지 명확하게 보여주면서 패스트 리액션 정지거리의 두 배 이상에서 보행자를 감지하고 식별했다.

2016년에 있었던 AWARE(All Weather All Roads Enhanced) 비전 프로젝트는 야간, 안개, 눈, 비와 같은 까다로운 가시성 조건에서 열화상 카메라의 가치를 잘 보여줬다. 전천후 환경에서 최고의 비전을 제공하는 기술을 평가하기 위해 가시광 RGB, 근적외선(NIR), 단파적외선(SWIR), LWIR 등 4가지 대역이 비교됐다.

프로젝트는 특히 다양한 안개 밀도에서 보행자 감지 성능을 평가했는데, 그 결과 ▶LWIR 카메라가 NIR 및 SWIR보다 안개에 더 잘 침투했으며 가시성 카메라는 안개 피어싱 기능이 가장 낮은 것으로 나왔다. ▶또한, LWIR 카메라는 완전한 어둠 속에서 보행자를 감지한 유일한 센서이면서, 안개 속에서 다가오는 헤드라이트로 인한 눈부심에 내성이 강한 것으로 나타났다. ▶가시광 RGB, SWIR, NIR 카메라는 헤드라이트 눈부심에 가려져 보행자를 놓치는 경우가 있었다.

감지 및 식별은 ADAS 및 자율주행 센서 세트 내의 주요 성능 지표다. 감지는 시스템이 앞에 오브젝트가 있다는 것을 알 수 있게 한다. 식별은 오브젝트가 사람, 개, 자전거, 세단, 기타 세그먼트 차량 등을 결정하고 식별 신뢰도를 높인다.

사진이나 열화상 이미지에서, FOV는 특정한 위치와 방향에 따른 카메라를 통해 보여 지는 장면의 일부다. FOV가 좁을수록 카메라는 더 멀리 볼 수 있다. 반대로 더 넓은 FOV는 멀리 볼 수는 없지만 더 넓은 시야를 제공한다. 즉, FOV는 열화상 카메라가 물체를 감지하고 식별할 수 있는 거리에 영향을 미치고, 여러 대의 카메라가 필요하다는 것을 말해준다. 예를 들어 교외의 고속도로에서는 비교적 먼 전방을 볼 수 있는 좁은 FOV 센서, 도심 주행에서는 넓은 FOV 센서가 최적이다.

현재의 AI 식별 시스템은 일반적으로 주어진 오브젝트를 90% 이상 안정적으로 식별하기 위해서 20×8픽셀의 타깃을 요구한다. 예를 들어, 사람을 신뢰할 수 있는 수준으로 식별하기 위해서는 그 키가 20픽셀은 돼야 한다. FLIR ADK는 좁은 FOV 렌즈 구성으로 키가 6피트(183 cm)인 사람을 186 m(최대 274 m) 이상 거리에서 식별할 수 있다.
 

플리어의 차량용 개발 키트 ADK는 전천후 주행을 위한 열선 내장 윈도 장착 IP-67 하우징에 640×512 해상도를 가진 Boson™ 열화상 카메라를 내장한 것이다. 개발자들은 ADK를 신속하게 마운트하고 연결해 사용하기 쉬운 GUI를 이용 데이터를 몇 분 안에 기록할 수 있다.


차량 통합을 위한 노력  
 

레벨 3 자율주행과 그 이상의 보급화는 저렴한 센서 기술과 센서 데이터 처리를 위한 컴퓨팅 파워 및 소비전력 저감, 실제 조건에서 안전하고 신뢰할 수 있는 기동 관련 인공지능에 의존한다.

열 센서에 대한 일반적인 오해는 밀리터리 영역에서의 사용과 함께 이 센서의 차량 통합 비용이 너무 비싸다는 것이다. 하지만 열화상 기술의 진보, 제조기술 개선, 제조량 증가에 힘입어 레벨 2 이상에 적합한 저렴한 열 센서의 양산은 이미 가능해졌다. 여기서 비오니어가 티어1 서플라이어로서 플리어의 핵심 감지 기술을 채택하고, OEM 설계에 능숙하게 통합하는 차량 통합의 효율성을 담당한다면, 플리어는 기술적, 생산공정 등의 측면에서 비용 저감을 주도하고 있다.

최근까지 열화상 카메라는 VGA 또는 그 이상의 해상도에 따라 각각 수천 달러까지 비용이 평가됐지만, 이들의 지속적인 기술 향상 노력과 적용 볼륨 확대로 ADAS와 자율주행차가 열화상 기술을 추가할 수 있을 만큼 낮아졌다.

반 댄 엘젠 부사장은 “가격의 책정은 고객의 볼륨과 맞춤화 수준에 따라 달라집니다. 일반적으로 열화상은 전통적인 카메라보다는 더 비싸지만, 일부 범위 센서보다는 낮습니다”라고 말했다.

열화상 카메라의 주요 컴포넌트는 센서 코어(마이크로볼로미터), 렌즈, 일렉트로닉스, 케이스 등이다. 또 기본적으로 열화상 센서의 제작은 실리콘 컴퓨팅 하드웨어와 유사하다. 매뉴팩처링에는 실리콘 웨이퍼, 파운드리 비용과 수율이 포함된다. 센서 당 비용은 총비용을 판매 가능한 칩수로 나눠 계산한다.

기술 측면에서 적외선 이미지 센서는 무어의 법칙을 따를 수 없다. 픽셀이 줄고 절편파장(wavelength of slice or wavelength of interest)에 접근함(LWIR 센서는 8~14 미크론 파장을 감지)에 따라 성능의 트레이드오프로 적외선 이미지 센서의 픽셀을 작게 만드는 것은 한계가 있다. 하지만, 지난 10년간 플리어는 픽셀 기하학적 구조를 50×50 미크론에서 12×12 미크론으로 줄여 면적을 83% 감소시켰다. 이는 웨이퍼-레벨 패키징과 확장된 규모, 공정 최적화 등과 결합돼, 시장에서 가장 낮은 비용을 달성할 수 있게 했다.

존 에거트 이사는 “라이더 시장에서의 개인적인 경험에 의하면, 이것은 비용 문제일 뿐만 아니라 라이더 관련 기술적 준비(technology-readiness)의 문제였다고 할 수 있습니다. 꽤 미숙합니다. 반면에 우리는 10년 이상 자동차 회사와 함께 대량생산 열화상 카메라를 만들어 왔습니다. 열 센서 제조기술은 반도체 웨이퍼 기술의 전형으로, 성능을 개선하고 비용을 줄이기 위해 여러 세대의 설계 및 공정 개선을 거친 보다 성숙한 프로세스를 갖고 있고, 라이더보다 비용 효율적입니다”라고 말했다.

한편, 데이터는 차량이 다양한 조건에서 주행할 수 있도록 하드웨어를 성숙시키고 보급하는데 있어 핵심적인 역할을 한다. OEM과 스타트업들은 그들의 시스템이 오브젝트를 식별하고 필요한 데이터를 확보해 이상적인 시스템이 될 수 있도록 다양한 센서를 장착해 테스트하고 있다. 이와 관련, 플리어는 열화상 통합 효율화를 위해 2018년 초 첫 번째 차량용 개발 키트를 론칭했고 2019년 초에 ADK 2.0을 출시했다. 이는 전천후 주행을 위한 열선 내장 윈도 장착 IP-67 하우징에 플리어의 640×512 해상도를 가진 Boson™ 열화상 카메라를 내장한 것이다. 이를 통해 개발자들은 ADK를 신속하게 마운트하고 연결해 사용하기 쉬운 GUI를 이용 데이터를 몇 분 안에 기록할 수 있게 됐다. SDK는 C, C#, Python으로 제공돼 호스트 ADAS 및 자율주행 플랫폼과의 보다 긴밀한 통합성을 제공한다.

플리어는 개발자에게 주석이 달린 1만 4,000개 이상의 열화상 이미지 무료 스타터 데이터 세트를 제공 중이다. 이 데이터 세트는 사람, 개, 자동차, 자전거, 기타 차량 등 5개 그룹으로 분류된 데이터를 포함한다. 라이브러리는 지속적으로 확장 제공되고 있다. 예를 들어, 플리어는 최근 알고리즘 트레이닝을 위한 유럽 지역의 열 데이터 세트(FLIR Enhanced European Thermal Dataset)를 판매하기 시작했다. 차량에 장착된 열화상 카메라를 통해 획득된 데이터 세트는 짧은 동영상으로부터 샘플링한 3,554개의 영상, 연속 360초 영상에서 추출한 1만 799개의 이미지 등 총 1만 4,353개의 주석 달린, 다양한 위치, 조명, 날씨 조건에 대한 화상이 포함돼 있다. 이 비디오는 다양한 위치(런던, 파리, 마드리드, 톨레도, 그라나다, 말라가 등), 조명 및 날씨 조건에서 생성됐다.
 

ADAS와 자율주행 시장은 여전히 개발 단계다. 자율주행의 단계가 레벨 3에서 그 이상으로 전개됨에 따라 고성능 ADAS와 자율주행 플랫폼에 열화상 카메라가 요구되고 있다.

반 댄 엘젠 부사장은 “열화상 센서는 전반적으로 비오니어의 포트폴리오에 잘 들어맞고 융복합과 의사결정에 대한 직교 입력 유지를 위해 또 다른 센싱 파장을 더한 것입니다”라고 말했다.

에거트 이사는 더 나아가 “우리는 UAM(Urban Air Mobility)과 같이 지상의 차량과 유사한 감지와 식별 문제를 갖고 있는 다른 산업에도 관심을 갖고 있습니다. 이러한 플랫폼의 안전성 향상에 기여할 수 있는 기회가 있다고 보고 있습니다”라고 말했다.