교통사고 방지의 관점에서 보행자 보호, 특히 야간의 보행자 보호를 목적으로 한 운전지원 시스템 개발이 각 자동차 제조사에서 진행되고 있다(표 1).
근래 들어 원적외선 카메라를 이용한 야간 보행자 검지 시스템이 제품화됨에 따라 앞으로는 보행자 검지가 예방 안전 시스템에 있어서 중요한 기능의 하나가 될 것으로 판단된다.
보행자 검지용 센서로는 원적외선 카메라, 근적외선 카메라, 레이저 레이더 등 각종 방식이 제안되고 있지만 SEI(Sumitomo Electric Industries) 사에서는 보행자의 방사열(원적외선)을 영상화하는 원적외선 카메라에 주목하여 독자적인 원적외선 광학재료기술(소결 ZnS)을 이용한 원적외선 카메라 및 야간 보행자 검지 시스템을 개발했다. 개발 요소로서는 소결 ZnS 렌즈 광학 설계기술과 카메라 신호처리 기술, 보행자 검지 알고리즘 등을 개발했다.

원적외선 카메라
렌즈로 사용하고 있는 소결 ZnS는 게르마늄(Ge)이나 칼코게나이드 글래스(chalc-ogenide glass) 등의 다른 원적외선 투과재료에 비해 원료 및 제조 비용을 억제할 수 있는 반면 파장분산, 투과율 등의 광학적인 재료 특성이 떨어진다.
SEI에서는 높은 양산성을 유지하면서 주파수 분해능, 뒤틀림 등의 광학 성능을 보상하는 독자적인 렌즈 설계기술을 확립함으로써 원적외선 카메라용 렌즈의 저가격화 실현에 발판을 마련했다.
개발한 원적외선 카메라는 표 2에 나타낸 사양으로 되어 있으며 나중에 설명하는 거리측정 처리용으로 두 카메라 간의 통신,  동기 기능을 갖추고 있다. 원적외선 카메라의 외관 및 영상을 사진 1, 2에 제시한다.

보행자 검지 알고리즘
원적외선 카메라는 ‘열’을 영상화하는 카메라이며 영상의 특성이 다른 카메라(가시 카메라, 근적외선 카메라 등)와는 전혀 다르다. 게다가 기존의 화상처리 기술의 대부분은 가시 카메라를 처리 대상으로 하고 있으며 원적외선 카메라까지 상정한 것은 극히 일부다.
이번에 개발한 보행자 검지 알고리즘에서는 기존의 화상처리 기술에 대해 원적외선 카메라 영상에 적합하도록 개량함으로써 검지 성능의 향상을 도모했다. 개발한 보행자 검지 알고리즘의 처리 플로차트를 그림 1에 각 처리의 세부사항과 검지성능의 검증 실험 결과를 소개한다.

고휘도 영역 추출
보행자를 검지하기 위한 첫 단계로서 ‘보행자는 원적외선 카메라 영상중에서 비교적 고휘도(고온)에 찍힌다’라고 하는 원리를 이용하여 영상의 2치화에 의해 고휘도 영역을 추출한다(사진 3). 여기서 보행자와 고휘도 배경이 영상중에서 근접 또는 중첩돼 있는 경우 통상적인 2치화에서는 양자가 결합해 버릴 가능성이 있다. 이와 같은 현상에 대응하기 위해 본 알고리즘에서는 윤곽 형상을 이용하여 고휘도 영역을 재분할함으로써 다른 물체끼리의 결합을 억제하고 있다.

트래킹(tracking)
나중에 설명하는 처리(거리보정, 후보 영역의 그룹화, 과거 이력을 이용한 판정)에 대해 시계열 정보를 부여하기 위해 위에서 추출한 고휘도 영역에 대해 프레임간 추적처리(트래킹)를 한다. 트래킹에서는 현 프레임/과거 프레임의 고휘도 영역의 유사도를 계산하여 유사도가 높은 고휘도 영역끼리는 동일 물체일 가능성이 높다고 하여 라벨을 부여한다. 유사도를 나타내는 지표로서는 현 프레임/과거 프레임의 고휘도 영역의 사이즈 비율, 프레임 간에서의 이동량 등을 사용하고 있다. 프레임 간 이동량을 구할 때에는 자차량의 요각과 피치각 변동에 의한 영향을 고려하여 고휘도 영역의 좌표 보정처리를 하고 있다.

거리측정
두 개의 카메라를 사용함으로써 화상처리에서 대상까지의 거리를 측정할 수 있다(스테레오 시). 스테레오 시(視)의 원리로서는 좌우의 카메라로 동일 대상을 촬영했을 경우에 두 영상 중에서 대상의 가로방향 편차(=시차)가 거리에 반비례하는 것을 이용하여 대상까지의 거리를 계산한다(사진 4).
여기서 원적외선 카메라 영상에서는 휘도 에지나 텍스처(texture) 등의 고주파 영역의 정보를 얻기가 어렵기 때문에 가시 카메라 사용 시에 비해 잘못된 시차를 산출(오대응)할 가능성이 높아진다.
그래서 통상적인 거리측정 처리인 대응 영역 탐색에 더하여 검산, 시계열 보정의 2가지 처리를 함으로써 오대응의 억제를 도모하고 있다.  이하 대응 영역 탐색, 검산, 시계열 보정의 각 처리에 대해 자세하게 설명한다.
(1) 대응 영역 탐색
오른쪽 카메라 영상 중의 고휘도 영역에 대응하는 영역(동일 물체를 지시하는 영역)을 왼쪽 카메라 영상 중에서 선택하여 시차를 산출한다. 구체적으로는 오른쪽 카메라 영상 중의 고휘도 영역과 같은 사이즈의 영역(탐색 영역이라 부른다)을 왼쪽 카메라 영상 중에서 슬라이드시켜 고휘도 영역-탐색 영역 간에 상관계산을 하여 가장 상관값이 높은 탐색 영역을 대응 영역으로 선택한다. 상관 계산방법의 대표적인 예를 표 3에 나타냈는 데, 여기서는 정규화 상호상관을 채택하고 계산 중단법을 사용함으로써 처리시간 단축을 꾀하고 있다.
(2) 검산
원적외선 카메라를 사용했을 때 고휘도 영역과 주변과의 휘도차가 작은 경우나 영상 중에서 수평방향으로 고휘도 영역이 다수 존재하는 경우에 오대응이 발생하기 쉽다. 오대응의 유무를 검증하기 위해 (1)의 요령으로 새로이 왼쪽 카메라에서 오른쪽 카메라로 역방향에 대응 영역 탐색을 실시하여 양방향에서의 결과가 일치했을 경우만 탐색이 성공한 것으로 간주하고 있다. 양방향에서의 탐색결과가 일치하지 않는 경우에는 (1)에서 두 번째, 세 번째,… 라는 식으로 상관값이 높은 영역을 차례로 대응 영역으로 선택하고 재차 검산처리를 하여 정확한 시차를 구한다.
(3) 시계열 보정
영상의 좌우 끝부분에서는 Occlusion(다른 물체에 의한 차폐) 등의 영향에 의해 거리측정오차가 발생한다. 게다가 2치화 임계값 근방에 있는 휘도값은 소자의 오차나 카메라의 이득제어 등의 영향으로 임계값의 상하로 변동해 버려 거리측정에서 오차의 요인이 되는 경우가 있다. 이 수법에서는 앞에서 언급한 트래킹 결과를 이용하여 시계열적인 거리 추이에 근거한 보정처리를 실시함으로써 이상값의 제외 및 오차의 저감을 도모하고 있다.
이 수법에 의한 시차 오차는 그림 2에 나타낸 바와 같으며 양호한 정밀도가 얻어지고 있다.

보행자 후보영역 추출
고휘도 영역을 단서로 하여 보행자의 후보가 되는 영역을 영상중에서 추출한다. 보행자 후보 영역으로서는 보행자에 속하는 화소가 과부족 없이 포함되어 있는 것이 바람직하다.
그러나 원적외선 카메라에서는 바깥 기온이나 복장의 변화에 따라 보행자의 부분 영역(몸통 등)이 저휘도로 되는 경우가 있어 2치화에 의한 고휘도 영역 추출만으로는 보행자 후보 영역을 적절하게 추출할 수 없다.
그래서 등거리 영역 그룹화, 후보 영역의 시계열 그룹화의 2가지 보행자 후보 영역 추출 수법을 개발했다. 이하, 각 처리에 대해 상세한 내역을 소개한다.
(1) 등거리 영역 그룹화
통상, 보행자에 속하는 각 부위는 자차로부터 거의 등거리에 위치하고 있다. 그래서 위의 거리측정 결과를 이용하여 고휘도 영역 주변에 있어서 거의 등거리에 존재하는 화소군을 그룹화함으로써 저휘도 화소를 포함한 보행자 후보 영역을 추출한다.
게다가 ① 보행자로서 타당한 사이즈 범위 내에 복수의 보행자 후보 영역이 있으며 ② 보행자 후보 영역끼리의 거리가 동일하고 ③ 후보영역 간에 존재하는 화소군도 후보 영역과 동일한 거리를 갖는 경우에는 이들을 결합하여 하나의 보행자 후보 영역으로서 추출한다(사진 5).
이때, 원적외선 카메라 영상의 고주파 성분의 적음에 기인하는 거리측정오차를 고려하여 영상에 윤곽강조처리를 실시하여 휘도차를 강조함으로써 거리측정 정밀도를 향상시켜 그룹화를 적절히 실시할 수 있도록 하고 있다.
(2) 후보영역의 시계열 그룹화
(1)과 마찬가지로 보행자로서 타당한 범위 내에 복수의 후보 영역이 존재하는 경우에 시계열 정보를 이용하여 후보 영역을 그룹화한다.
구체적으로는 고휘도 영역의 거리정보와 위에서 얻어진 트래킹 정보를 이용해서 과거 수 프레임을 넘어 거리의 추이가 동일한 후보 영역끼리 그룹화하여 하나의 보행자 후보 영역으로 추출하고 있다.

보행자 판정
지금까지의 처리에 의해 보행자의 가능성이 있는 영역을 추출할 수 있었기 때문에 정의한 판정 규칙에 준거한 판정처리를 하여 후보 영역 내의 물체가 보행자/비보행자 중에서 어느 하나를 결정한다.
여기서는 각 프레임에서의 보행자 판정(1차 판정)에 추가하여 과거의 보행자 판정 결과를 이용한 2차 판정을 함으로써 판정 성능의 향상을 도모하고 있다. 1차 판정으로서는 ① 통계정보에 의한 판정, ② 학습기계에 의한 판정이라는 2종류를 개발했다. 이하, 세부적인 1차 판정과 2차 판정의 처리에 대해 언급한다.
■ 통계정보에 의한 판정
후보 영역의 종횡비나 실제 사이즈 등을 이용하여 후보 영역을 적절한 부위로 분할하고 거리나 사이즈마다 준비한 통계적으로 구한 판정 규칙을 이용하여 보행자로서의 가능성을 부위마다 산출해서 종합적으로 보행자인가 아닌가를 판정한다. 동시에 후보 영역이 ‘보행자에서는 있을 수 없다’ 경우의 판정 규칙을 준비함으로써 비보행자 판정도 실시한다. 판정 규칙으로서는 후보 영역의 휘도분포, 종횡비, 실제 사이즈(거리에 비례), 이동속도 등을 이용하고 있다.
■ 학습기계에 의한 판정
학습기계의 일종인 SVM(Support Vector Machine)를 이용하여 보행자 판정을 하고 있다. 학습기계란, 정답이 기지의 데이터를 이용하여 판정 규칙을 ‘학습’함으로써 판정 규칙의 자동 최적화하는 수법이며 근년 차량 화상인식 분야에서 주목받고 있다. 여기서는 단일의 SVM에서는 다양한 휘도 분포를 갖는 인간/비인간을 정확하게 식별하기가 곤란하기 때문에 특정의 방향, 상태(보행/자전거, 차폐에 의해 상반신만일 경우 등)의 인간만을 정확하게 식별하는 SVM를 복수 조합함으로써 여러 사람을 정확하게 검지하면서 오검지의 삭감을 도모하고 있다.
2차 판정
Occlusion이나 영상 노이즈로 인하여 순간적인 보행자의 검지누설  및 오검지가 발생하는 경우가 있다. 이와 같은 검지 실수는 단일의 프레임에 대한 보행자 판정에서는 불가피하기 때문에 과거의 보행자 판정결과를 통합하여 최종적인 판단을 내림으로써 이와 같은 검지 실수를 억제하고 있다(그림 3).
판정결과의 통합방법으로서 위의 통계정보에 의한 판정에서는 ‘보행자’라고 판정한 회수와 사용 프레임 수의 비율을 이용한다.
또 위의 학습기계에 의한 판정에서는 후보영역의 ‘보행자다움’의 수치를 복수 프레임으로 적산하여 종합적인 판단을 내린다.
후보 영역의 ‘보행자다움’의 수치는 SVM 판정초 평면-후보 영역의 특징 벡터 간의 정규화 유클리드(Euclid) 거리로 표현할 수 있다.

검증실험
이번 실험에서는 표 4의 실험조건에 나타낸 바와 같이 자차량으로부터 30 ~ 80m의 거리범위에 존재하는 보행자를 대상으로 하여 보행자 판정에서 언급한 두 종류의 보행자 판정처리에 관해서 검지 성능을 평가했다.
실험결과를 표 5에 나타냈는데, 양쪽 보행자 판정처리에 있어서 검지율 80% 이상, 오검지 발생빈도 50회/시간 미만이라고 하는 검지 성능이 얻어졌다.

결론
원적외선 카메라용 보행자 검지 알고리즘을 개발하여 독자적인 소결 ZnS 렌즈를 사용한 원적외선 카메라에 대해 보행자 검지 성능을 지표로 한 검증실험을 실시했다.
결과적으로 저가격의 원적외선 카메라를 사용했을 때에도 양호한 보행자 검지 성능이 얻어진다는 것을 확인하였으며, 이 개발로 시스템의 저가격화를 향한 첫걸음을 내디딜 수 있었다고 할 수 있다.
앞으로는 ① 적용 상황(기후, 시간대 등)의 확대 ② 차량 탑재 용도를 고려한 원적외선 카메라의 신뢰성 향상 ③ 카메라의 저가격화 등을 추진해 나갈 계획이다.