하기와라 전기가 지난 5월 JAPAN IT WEEK SPRING의 제18회 임베디드 시스템 개발 기술전(ESEC)에 출전했다. 하기와라는 이 전시회에서 자사의 차량용 임베디드 이미징 관련 기술 시장 개척을 위해 전자식 미러 이미징, 얼굴인식, 보행자 등 접근 사물 감지기술 등을 데모했다.

하기와라 전기(Hagiwara Electric)가 지난 5월 JAPAN IT WEEK SPRING의 제18회 임베디드 시스템 개발 기술전(ESEC)에 출전했다. 하기와라는 이 전시회에서 자사의 임베디드 이미징 관련 기술 시장 개척을 위해 전자식 미러 이미징, 얼굴인식, 접근 사물 감지기술 등을 데모했다.

나고야에 본사를 둔 하기와라 전기는 지난해 876억 엔의 매출 중 86.1%가 자동차 시장에서 발생한 글로벌 차량용 ‘전기/전자 원스톱 솔루션’ 공급업체다. 해외 거점은 최대 고객사인 덴소를 따라 전 세계에 위치하고 있다. 한국의 경우엔 서울 서초동에 영업 및 기술지원소를 두고 있다. 주요 제품은 차량용 마이콤, 트랜지스터, 다이오드, 클러스터 액정과 이미징 솔루션 등이다.

하기와라의 이미징 솔루션 기술 기반은 하이레벨 C 언어(→HDL)로 자체 개발한 알고리즘이고, 이를 ASIC, FPGA로 하드웨어화 하는데 있다. 하기와라는 알고리즘 개발 환경 제공, 개발 계약 또는 FPGA나 ASIC 구현 프로토타이핑 보드 개발을 한다. C 언어 동작 합성툴과 관련해서는 NEC의 CyberWorkBench와 이미징 라이브러리를 제공하고 있다.


전자 미러
부스 한 쪽의 디스플레이는 카메라가 참관객의 눈, 코, 입술의 위치 등을 추적하는 모습을 보여줬다. 해당 인물이 누구인지를 구별하는 기술이다. 이 얼굴인식 알고리즘 기술은 차량 소유자와 다른 사용자를 구별해 탑승자가 시트에 앉으면 얼굴의 형태를 감지해 누군인지를 구별하고 그 사람에 맞춤화된 콕핏을 구성하는 데 이용된다. 예를 들면 시트나 스티어링 휠 포지션, 내비게이션의 주요 목적지, 엠비언트 조명, 선호곡 등이다. 또 다른 데모는 아이트래킹 기술은 아니지만 운전자의 얼굴 방향을 추적해 주행 중 운전자 시선이 전방에서 떨어졌는지를 감지해 운전부주의를 경고했다.

하기와라 전기의 히로시 카토(Hiroshi Kato) 부장은 “얼굴인식 기술은 이미 개발을 마치고 데모를 통해 프로모션되고 있다”며 “위치추적용으로 개발돼 인식거리가 3미터 정도인데, 옆모습, 뒷모습 등의 외형만으로도 누구인지를 구별할 수 있다”고 말했다.

부스의 메인 데모는 전자 미러 콕핏이었다. 이 콕핏은 두 개의 사이드미러 부근에 장착된 어안 렌즈와 후방 어안 렌즈 등 3개 카메라로 찍은 영상을 7개의 디스플레이를 통해 보여주는 콘셉트다. 꼭대기에는 3개 영상을 통합해 사각지대를 없앤 매우 넓은 파노라마 화면의 블라인드리스(Blindless) 화면이고, 중단은 3개 카메라의 동그란 원본 영상이 디스플레이됐다. 하단의 콕핏 패널 쪽 3개 디스플레이는 각각의 어안 렌즈로 찍은 원본 영상을 사각 디스플레이에 맞게 자르고 보정해 양쪽 후측방과 후방을 나눠 보여줬다.

조만간 자동차의 리어 뷰 미러, 사이드 미러, 펜더 미러 등 전통적인 미러는 전자 미러로 대체될 전망이다. 카메라가 차량의 후방과 측방, 측후방 사각지대를 촬영해 운전자가 확인하기 쉬운 위치에 설치된 디스플레이를 통해 이를 표시하고, 위험이 감지되면 경고까지 보내게 된다.



카토 부장은 “하기와라 전기는 새로운 트렌드에 따라 전자 미러 시스템을 개발하고 있는데, 이 전자 미러 시스템은 전통적 미러를 대체하는 동시에 아예 사이드 미러를 없앨 수도 있다”며 “2018년이면 다임러가 이런 전자 미러를 도입할 것인데, 유럽은 물론 일본에서도 전자 미러 도입을 위한 법적 논의가 활발히 이뤄지고 있는 상황”이라고 말했다.

사이드 카메라에는 종래의 톱뷰와 파노라마 기술이 복합적으로 활용된 ‘시점 변환 알고리즘’이 적용된다. 어안 렌즈를 이용하는 하기와라의 전자 미러 시스템은 전통적 미러에 비해 표시 범위가 매우 넓고 깊어 차량의 후측방 안전성을 크게 끌어올릴 수 있다. 사이드 미러 부근에 설치된 수평 화각 180도 이상의 렌즈는 차량의 전후방을 볼 수 있다. 좁게 보이는 영상의 바깥쪽 일부를 왜곡 보정 및 시점 변환을 통해 잘라낸다. 어떠한 가상 위치에서도 톱뷰 이미지를 만들어주는 기술은 사각지대를 없애준다. 이렇게 톱뷰, 측방, 측후방, 후방의 4개 관점에 대한 영상이 처리된다.

카토 부장은 “회사는 이 기술을 어떻게 활용해야 할지 고민했고 전자 미러에 해당 기술을 적용키로 결정하고 연구개발을 시작했다”며 “시점 변환 기술은 어안 영상 특유의 정보량이 많음을 이용한 것”이라고 말했다.

하기와라의 시점 변환 기술은 운전자 지원 시스템에도 대응한다. 자체 개발한 감지 알고리즘을 통해 사각지대에 장애물이 나타나면 디스플레이에 경고 문구나 특정 아이콘을 표시해 운전자에게 경고를 준다. 기술은 사물을 찾아 그 사물이 차량에 대해 상대적으로 접근하는 방향으로 이동하고 있는지 여부를 판정하는 것에서 출발한다.



톱뷰와 FPGA
카토 부장은 “어안 렌즈가 취득하는 광각 이미지는 육안과는 비교가 되지 않는 풍부한 양의 정보를 수집하기 때문에 주변 왜곡이 큰 부분도 보정을 통해 유용한 정보를 얻을 수 있다”고 말했다.

하기와라의 기술은 차체 후방에 설치한 HD 어안 카메라로 촬영한 이미지의 왜곡을 보정하는 동시에 좌표 변환을 수행하고, 대각선 전방 등
다양한 임의 각도의 가상 카메라 관점에서 모니터에 표시할 수 있도록 한다. C 언어에 의해 기술된 이미지 처리 알고리즘이 FPGA에 탑재되고 1280×720 화소의 프로그레시브 HD 이미지는 60 FPS의 고속으로 처리된다.

카토 부장은 “기능을 실현하려면 소프트웨어에서 하는 것보다 하드웨어에서 처리하는 것이 더 빠르다. 따라서 하기와라는 톱뷰 변환 시 하드웨어(FPGA) 이미지 처리 알고리즘을 구현하고, 고속처리를 실시해 실시간으로 화상을 표시할 수 있게 했다”고 말했다.

톱뷰 이미지를 운전자가 보는 방식은 대개 주차지원에 한정되지만, 노면의 교통 표시나 연석을 감지할 수 있고 경고 기능과도 결합될 수 있다. 사람이 눈치 채지 못한 부분과 보이지 않는 부분에 대한 풍부한 화상 정보를 수집해 안전운전을 지원한다. 녹화된 데이터와 결합하면 사고 발생시의 톱뷰 이미지를 볼 수 있어 사고 상황이나 현장에서의 위치 관계 등을 정확히 파악할 수도 있다.

카토 부장은 “일반적인 어라운드 뷰는 마이콤을 넣어 하지만 하기와라는 FPGA를 이용해 효율성을 높였다”고 강조하며 “어라운드 뷰는 단순히 2미터 반경의 톱뷰를 보는데 그치지만 우리는 최대 10미터까지 주변을 확대하고 가상의 어떤 위치에서도 촬영한 듯 영상을 만들 수 있다”고 말했다.



보행자 감지
하기와라 전기의 서라운드 뷰 기술은 수직 위치에서 보는 2D, 가상의 높은 위치에서 기울여 봄에 따라 더욱 넓게 볼 수 있는 3D는 물론 직진, 후진 시의 영상 또한 사각지대, 대각선 방향을 넓게 보여줘 보다 차량의 이동을 쉽고 안전하게 만든다.

카토 부장은 “신 3D 모드가 적용된 서라운드 뷰 기술은 다른 메이커들이 하지 않고 있는 하기와라의 차별된 기술 중 하나로 일본의 고객사를 통해 상용화가 진행 중”이라고 말했다.

하기와라 전기는 일본 OEM들의 요청으로 외산 시스템과 경쟁하는 강화된 운전자지원 시스템용 보행자 감지 기술도 개발했다.
보행자 감지 기술은 현재 글로벌 신차안전도 평가제도(NCAP)와 함께 세계적인 이슈다.
가시광선과 적외선의 하이브리드 카메라(FIR-V)를 이용하는 하기와라 시스템은 보다 정확성 높은 보행자 감지 시스템이다.
사람뿐만 아니라 다양한 물건의 형태를 알수 있는 화상 인식 특성을 살렸다.

카토 부장은 “보행자 감지 시스템은 10년 전 상용화된 해외기업 제품이 시장을 좌우하고 있다”며 “하기와라 전기는 2012년 부터 아이에스, 이와테 공업기술 센터 등과 경제산업성의 전략적 기반 기술 고도화 지원 사업의 일환으로 하이브리드 카메라를 이용한 보행자 감지 시스템 공동개발 사업을 추진해 현재 OEM과 선행개발 단계에 있다”고 말했다.

하이브리드 카메라는 밤낮을 가리지 않고 모든 장소에서 30미터 전방의 보행자를 감지할 수 있다. 개발의 최대 과제는 보행자를 정확히 판정하기 위한 검출률의 향상과 감지 알고리즘의 임베디드화였다. 사물에 대한 동체 감지 알고리즘은 자차량의 추정 방법 개발, 차량 상하동 리젝트 처리, 동체 검출 수법 개발을 통해 FPGA에 실장됐다. 보행자를 감지하려면 이미지가 사람인지 여부를 판별하기 위한 학습자료가 필요하기 때문에 데이터베이스 구축 소프트웨어를 개발하고 보행자 화상 데이터베이스를 만들었다. 또 보행자 검출용 화상 특징 검출 기술, 학습 데이터베이스를 구축해 FPGA 메모리에 실장했다.

카토 부장은 “주행 중인 자동차에서 다양한 상황의 보행자를 촬영하고 대량의 데이터를 수집해야만 했다”며 “시스템은 우선 전방의 사물을 찾고 이것이 입체물인지, 움직이는 사람인지, 또 움직이는 것이 물체인지 사람인지를 판단하는 과정 등을 거친다”고 설명했다.

중요 이슈 중 하나는 실시간으로 대량의 정보를 처리하는 프로그램을 얼마나 가볍게 할 수 있을 지였다. 자동차 시스템은 저전력 등 임베디드 시스템 특유의 특성과 높은 신뢰성을 요구하는데, 하기와라는 르네사스와 함께 축적된 임베디드 하드웨어 설계에 관한 풍부한 노하우를 십분 활용했고, NEC의 CyberWorkBench용 이미지 라이브러리 개발 등으로 다져진 화상 처리 관련 지식을 활용했다.

카토 부장은 “예를 들어 닛산이 모빌 아이와, 스바루가 자체적으로 이같은 시스템을 개발하고 있듯이 하기와라도 몇몇 고객과 선행개발을 진행 중”이라며 “한국의 기업들과의 협업도 고대하고 있다”고 말했다.

하기와라는 자동주행을 위한 장애물·접근 물체 감지 비주얼 SLAM(Simultaneous Localisation And Mapping) 기술도 개발 중이다. 이는 자기 위치 추정 및 환경지도 작성을 동시에 수행하는 기술이다. 핵심 과제는 카메라 움직임과 주위 입체 구조를 동시에 추정하는 것인데, 이는 자동차 카메라가 직면하고 있는 문제다. 하기와라는 여러 프레임 간 특징을 추적해 이를 단서로 이용하고 있다. 이같은 기술은 이미 정해진 루트에서 운행되는 자율주행차에 쓰이고 있고, 자동차의 자동주행에 이용될 수 있다.


이미지 라이브러리와 LSI
하기와라는 NEC의 CyberWorkBench툴과 함께 편의를 제공하는 라이브러리를 개발했다. 기능 회로를 설계할 때는 소재를 선택하고 조합할 라이브러리가 있으면 기술자의 노력 경감과 개발기간 단축, 비용절감을 실현할 수 있다. LSI를 설계할 때는 특정 기능을 하드웨어에서 실행할 것인지, 소프트웨어에서 실행할 것인지의 선택사항이 있다. 하드웨어에서 처리하는 것이 소프트웨어에서 할 경우보다 빠르지만 여기에는 설계자가 알고리즘에 대한 고급 지식을 갖고 있어야만 개발시간과 비용을 줄일 수 있다. 하기와라 전기는 이미지 처리 분야 LSI 설계를 하고 있지만, 설계자의 업무를 더욱 효율화하기 위해 요구하는 기능을 탑재한 LSI 설계를 위한 라이브러리를 직접 개발했다. 이 기술적 자산은 다른 회사에서도 활용할 수 있다.

하드웨어에서 이미지 처리를 하고자 하는 경우, 이미지 처리 알고리즘에 대한 고급 지식이 없으면 회로 설계를 할 수 없지만, 이 라이브러리를 이용함으로써 지식이 없어도 블록을 새로 짜넣는 것만으로 다양한 이미지 처리 회로를 쉽게 설계 할 수 있다. 이미지 처리와 같은 산술 연산이 많은 시스템에서는 하드웨어 언어에 의한 설계는 비교적 난이도가 높은 데다 대규모 시스템에서는 설명 데이터도 막대하다. 때문에 C 언어를 이용해 설명 양을 줄이고, ASIC·FPGA용 RTL로 변환하는 방법(동작 합성)을 이용한다.

라이브러리는 컨슈머나 자동차시장에서 제스처를 이용한 공조, 조명 시스템, 게임기 등에 응용될 수 있고, 특히 자동차에서 차선 경계선, 보행자, 차량, 교통 표지 등의 감지를 이용한 운전자지원 시스템 개발에 적합하다. 산업시장의 침입 탐지 및 얼굴 인식 등을 이용한 감시카메라와 보안기기 등에도 응용될 수 있다. 하기와라 전기는 이미 수년 동안 차량용 LSI 설계에 참여해왔고, 저소비, 기능안전성 등 자동차 특유의 엄격한 요구사항에 대응하고 있다.
 

AEM_Automotive Electronics Magazine