인피니언의 REAL3 이미지 센서를 활용함으로써 소형 크기의 고정밀 모노 3D 카메라 시스템을 설계할 수 있다. 이러한 시스템은 산업용 HMI와 혁신적인 자동차 애플리케이션 뿐만 아니라 컴퓨터와 가전기기의 동작인식 같은 애플리케이션에도 사용할 수 있다.

자율주행으로 나아가기 위해서는 자동차 안과 자동차 주변에서 일어나는 모든 상황 정보를 포착해야 한다. 운전자 상태 감지뿐만 아니라 차 안에서 3D 데이터를 포착함으로써 전혀 새로운 방식의 HMI가 가능하다.

ADAS와 자동운전(self-driving) 자동차를 구현하기 위해서는 운전자의 주의집중과 차 안의 상황에 대한 정확한 정보가 필요하다. 정교한 3D 카메라를 사용해 운전자 상태를 포착하고, 이 정보를 ADAS 시스템으로 전달할 수 있다. 만약 운전자가 눈을 감고 있거나 전방을 주시하지 않고 있다면 경보가 울리도록 할 수 있다. 그래도 운전자가 아무 반응이 없다면 자동 긴급제동 시스템(AEB)을 가동한다.

동시에 3D 카메라 칩은 사물의 거리 데이터를 직접 측정해, 예를 들어 스테레오 카메라를 사용할 때와 같이 일단 각도 정보로부터 이러한 정보를 계산해야 할 필요가 없다. 그러므로 많은 양의 컴퓨팅 입력을 필요로 하지 않는다. 인피니언의 REAL3™ 이미지 센서를 사용하면, 실내 애플리케이션이든 실외 애플리케이션이든 최소의 설치 공간으로 3D 비전 시스템을 구현할 수 있다.

3D 정보를 포착하기 위해서 다양한 기술이 사용되고 있다. 스테레오 비전의 경우에는 2개의 표준 2D 카메라를 사용해서 다양한 각도로부터 물체를 기록하고, 이로부터 거리(깊이)를 계산한다. 이 기법의 장점은 저가격대의 표준 이미지 센서를 이용할 수 있다는 것이다. 하지만 물리적인 조정과 캘리브레이션을 필요로 한다. 이 작업을 하기 위해서 많은 시간이 소요된다. 또한 지극히 복잡하고 연산 집중적인 알고리즘을 필요로 하며, 조명 조건이 열악하거나 변화하게 되면 성능이 제한된다.

또 다른 3D기술은 구조 광(structured light)을 이용하는 것이다. 다시말해 물체에 알려진 패턴을 투사하고, 이 패턴의 분포로부터 깊이를 계산하는 것이다. 이 기법은 다중 경로 간섭의 경우에 유리하나, 전문적인 카메라와 특수한 능동형 조명을 필요로 할 뿐만 아니라 렌즈와 패턴 프로젝터 간에 정밀하고 안정적인 기계적 조정을 필요로 한다. 그만큼 캘리브레이션을 위해서 많은 양의 입력을 필요로 한다. 또한 반사되는 패턴이 광 간섭 및 텍스처에 대해 민감하다.

모든 픽셀에 대한 깊이 및 진폭 측정

REAL3 이미지 센서는 ToF(time-offlight) 이미징 기술을 기반으로 3D 이미지 포착에 사용하도록 크기가 작고 정밀한 범용 솔루션이다. 이러한 이미지 센서는 변조 조명 소스와 반사된 것 사이에 위상 변위를 측정하고, 이것을 거리 정보로 변환한다. ToF 카메라를 사용해서 물체에 진폭변조 적외선 광을 조사하면 카메라와 이미지 센서가 이 빛이 물체에 도달했다가 되돌아오는 데 걸리는 시간을 계산하고 모든 픽셀에 대해서 위상 변위를 측정한다. 따라서 카메라가 모든 픽셀로 깊이와 진폭을 제공할 수 있다. ToF 기법의 또 다른 장점은 카메라 크기를 소형화할 수 있고, 모든 조명조건에서 동작할 수 있으며 캘리브레이션이 간단하다는 점이다.

ToF 기술은 확장성이 뛰어나다. 다시 말해 카메라를 불과 수 센티미터에서 최대 20미터 혹은 그 이상의 초점 거리에서 사용할 수 있으며, 그만큼 고출력 조명을 사용할 수 있다. 깊이 해상도는 통상적으로 해당 거리의 약 1%이고 측면 해상도(lateral resolution)는 현재 최대 352×288 픽셀에 이른다. 카메라는 최대 100IPS(초당 이미지 수_images per second)를 제공할 수 있다.
ToF 카메라는 통상적으로 조명 유닛, 광학 시스템, 센서, 제어 장치, 평가 스테이지로 구성된다(그림 1).

조명 유닛은 LED나 레이저 다이오드를 사용하며, 센서가 빛의 이동시간(time of flight)을 완벽하게 측정할 수 있는 충분한 속도(LED의 경우 최대 30 MHz)로 변조한다. 조명 유닛은 대부분 근적외선 대역으로 전송하므로 카메라로 인한 환경의 방해를 최소화한다.

광학 시스템(렌즈)은 반사되어 되돌아오는 빛을 포착하고 센서 상에 물체를 맵핑한다. 광학적 통과 대역 필터는 조명 유닛이 동작하는 파장만 통과하도록 한다. 그럼으로써 상당한 정도의 백그라운드 광 간섭을 제거한다.

ToF 카메라의 핵심은 3D 이미지 센서다(그림 1). 3D 이미지 센서가 각기 픽셀에 대해서 깊이와 진폭을 측정한다. 조명 유닛과 센서를 정교한 전자장치를 사용해서 가능한 최대의 정밀도를 달성하도록 조절해야 한다. REAL3 이미지 센서는 이러한 장치들을 내부에 이미 통합하고 있다.

뛰어난 이미지 인식을 달성하기 위해서는 특정한 애플리케이션에 적합한 카메라 시스템 뿐만 아니라 데이터를 처리하기 위한 컴퓨팅 유닛과 3D 데이터를 처리하기 위한(동작인식 등) 소프트웨어(미들웨어)를 필요로 한다.

대부분의 백그라운드 광은 광학 필터를 사용해서 억제한다하더라도 픽셀들이 여전히 지극히 넓은 깊이의 동적 범위를 다룰 수 있어야 한다. 제조업체들은 이러한 배경 신호를 효과적으로 억제하기 위해서 자사 센서 제품에 대해 다양한 전략을 고안했다.

고도로 통합된 3D ToF 이미지 센서

인피니언은 독일 지겐(Siegen)에 위치한 pmdtechnologies 사와의 협력을 통해 고도의 통합형 고성능 3D ToF 카메라 칩을 개발했다. 이 칩 제품군의 개발에 있어서 pmdtechnologies 사가 크게 기여한 점은 ToF 픽셀 매트릭스와 관련해서 특허 기술인 백그라운드 조명 억제(suppression of background illumination, SBI) 기술을 사용할 수 있게 한 것이다. SBI 기술은 센서 칩의 동적 범위를 확장함으로써 야외의 강한 햇빛 아래서 동작할 때와 같이 강한 주변광으로 포화가 일어나는 것을 방지한다. SBI회로를 적용한 센서는 그에 맞게 설계된 카메라 시스템을 사용해서 150 킬로룩스(klx)에 이르는 밝은 햇빛에서도 작동할 수 있다.

이들 3D 이미지 센서 제품은 고성능 ToF 픽셀 매트릭스에 최적화되고 검증된 CMOS제조기술 및 SoC(system-on-chip) 기술을 결합하고 있다. 그럼으로써 광민감성 면적과 혼성신호(mixed signal) 회로를 하나의 콤팩트한 칩으로 통합할 수 있었다. REAL3이미지는 광민감성 픽셀 어레이, 스마트 제어 로직, A/D 컨버터, 픽셀 매트릭스 변조, 자율적 위상 시퀀싱, 디지털 출력 인터페이스를 비롯해 현재 가장 다양한 기능들을 통합하고 있다. 그럼으로써 다양한 이점들을 제공한다. 최적화된 CMOS 기술은 적외선 대역으로 높은 민감성을 가능하게 한다.

모든 픽셀에 대해서 특허 기술 SBI 회로는 강한 햇빛이든 어두운 곳이든 또는 건물이나 자동차 내부이든 밖이든 상관없이 모든 조명 조건에서 신뢰할 수 있는 동작을 달성한다. 또한 모든 픽셀로 깊이와 진폭을 직접적으로 측정함으로써 집중적인 계산을 덜 필요로 한다. 표준 카메라 인터페이스를 채택한 ToF 단일 칩은 디자인으로 간편하게 통합할 수 있다. 또한 모노 카메라 시스템 아키텍처로서 기계적 베이스라인을 필요로 하지 않고, 조명 유닛을 센서와 상관없이 배치할 수 있으며, 기계적 조정이나 각도 교정을 필요로 하지 않는다. 진동이나 열 영향으로 인한 캘리브레이션도 필요 없다.

REAL3 이미지 센서는 1~4 ms 이내에 신속하게 데이터 리드아웃을 할 수 있으며 100 fps(frames per second) 이상의 프레임 레이트를 지원한다. 또한 I²C 인터페이스를 통해서 동적으로 구성이 가능하다. 그러므로 동작 중에 위상 측정 수와 노출 시간에 따라서 간편하게 프레임 레이트를 조절할 수 있으며, 조명 조건과 동작 조건에 따라서 기능을 최적화할 수 있고 전력 사용을 최소화할 수 있다. 지능형 전력관리 시스템은 저전력 소모를 달성하도록 한다.

pmdtechnologies 사는 제조 공정끝에서 이미지 센서를 빠르고 신뢰할 수 있게 캘리브레이션할 수 있는 기법을 고안했다. 이 캘리브레이션 기법은 ToF 카메라당 10초가 걸리지 않아 양산 제조에서 매우 유리하다.

자동차용 3D 이미지 센서

REAL3 이미지 센서를 사용함으로써 매우 작은 크기의 고정밀 모노 3D 카메라 시스템을 설계할 수 있다. 이러한 시스템은 산업용 HMI와 혁신적인 자동차 애플리케이션 뿐만 아니라 컴퓨터와 가전기기의 동작인식 같은 애플리케이션에도 사용할 수 있다.

자동차에 3D 이미지 센서를 사용함으로써 운전자의 안전성과 편의성을 향상시킬수 있다. 자율주행을 구현하고 안전성을 더욱 향상시키기 위해서는 자동차 안과 자동차 주변에서 일어나는 모든 상황 정보를 포착해야 한다. 운전자 상태 감지뿐만 아니라 자동차 안에서 3D 데이터를 포착함으로써 전혀 새로운 방식의 좀 더 몰입감 있는 HMI를 설계할 수 있다. 예를 들어 3D 카메라를 사용함으로써 운전자의 머리 위치를 정확하게 계산할 수 있다. 이 정보를 사용해 헤드업 디스플레이(HUD) 표시를 최적화하거나 머리 위치에 상관없이 증강현실 애플리케이션을 매끄럽고도 현실감 있게 표현할 수 있다.

또한 인포테인먼트, 내비게이션, HVAC시스템을 터치하지 않고 동작으로 제어할 수 있다. 탑승자를 구분하고 사전에 설정된 값에 따라서 좌석 위치, 미러, 에어백 터지는 힘 등을 조정할 수도 있다. 소형화되고 성능이 뛰어난 3D 카메라는 주차 지원을 위한 전방향 시야, 장애물 감지, 자율주행의 여러 다른 측면에서도 핵심이다.

자동차용 이미지 센서는 환경적인 영향에 견고해야 하고 소형이어야 하며 설계 복잡성이 낮아야 한다. 또 확장성이 뛰어나며 동적으로 구성이 가능해야 한다. REAL3이미지 센서는 이러한 점들을 갖췄다. 또한 여타 3D 기술에 비해서 더 적은 컴퓨팅 입력을 필요로 해 그만큼 더 낮은 CPU 성능을 필요로 한다.

제품 구성, 레퍼런스 디자인, 데모 디자인

REAL3 이미지 센서 제품군은 2개 제품을 포함하고 있다. IRS1010C는 측면 해상도가 160×120픽셀(QQVGA)인 제품이고, IRS1020C는 352×288픽셀(CIF) 제품이다. 사용하려는 픽셀 수를 소프트웨어로 자유롭게 선택할 수 있다. 소비시장용 제품은 베어 다이 형태로 출하되고 있다. 소비자 애플리케이션용 제품과 더불어 자동차용으로 광학 BGA 패키지로 이미지 센서 제품도 개발하고 있다. 10×10 mm 크기의 이 패키지는 AEC-Q100 표준을 만족하며, -40~+105℃의 주변 온도에서 동작한다.

3D 카메라 레퍼런스 디자인으로서 새로운 CamBoard pico flexx(그림 2)를 제공한다. pmdtechnologies에서 개발한 이 카메라는 224×172픽셀 해상도로서 USB 2.0 포트를 통해서 구동되며 인피니언의 최신 3D 이미지 센서 칩을 채택했다. 68×17×7.25 mm에 불과한 크기는 현재 시장에 나와 있는 것 중에서 가장 크기가 작은 깊이 센서 카메라다. CamBoard pico flexx는 조명 유닛으로 적외선 레이저를 사용하며 최대 4미터 거리까지 다양한 프레임 레이트로 유연하게 구현할 수 있다.

3D 이미지 센서 칩과 조명 유닛의 평균 전력 소모는 300 mW이다.
또한 Kostal에서도 REAL3 이미지 센서를 기반으로 운전자 상태 감지용으로 이미지 프로세서를 통합한 양산급 프로토타입 3D 카메라를 개발했다(그림 3). 이 카메라는 매우 다양한 조명 조건에서도 49개 기준점을 사용해 운전자의 안면 윤곽을 정확하게 포착한다. 이 카메라는 3D 깊이 데이터 뿐만 아니라 머리 위치(x, y, z 방향), 머리 방향(yaw, pitch, roll 각도), 눈 깜박임을 검출할 수 있다. 이 카메라는 352×288픽셀(CIF)과 최대 50 fps 프레임 레이트를 지원하며 최대 1.5미터 거리의 물체를 최대 1cm 깊이 해상도로 스캔할 수 있다.