엔비디아, 자율주행차와 로봇을 위한 엣지 AI 기술 공개

엔비디아가 2018년 발표한 젯슨 AGX 자비에(Jetson AGX Xavier) 후속 제품인 젯슨 AGX 오린(Jetson AGX Orin)을 비롯해 소프트웨어정의 차량을 위한 드라이브 AGX 오린(DRIVE AGX Orin)에서 동작하는 AI 플랫폼인 드라이브 컨시어지(DRIVE Concierge)와 드라이브 쇼퍼(DRIVE Chauffeur)를 10일 공개했다.

엔비디아는 세계에서 가장 작은 AI 슈퍼 컴퓨터인 젯슨 AGX 오린이 강력한 성능과 에너지 효율을 극대화한 제품이라고 소개했다.
 

젯슨 AGX 오린은 엔비디아 AI 소프트웨어 풀 스택을 가속화해 개발자가 자연어 이해, 3D 인식, 멀티센서 퓨전 등과 관련된 엣지(edge) AI 및 로보틱스 문제를 해결하는 데 필수적인 가장 크고 복잡한 모델을 배치할 수 있도록 한다.

젯슨 AGX 오린은 차세대 딥 러닝 및 비전 액셀러레이터와 함께 엔비디아 암페어 아키텍처 GPU 및 Arm 코텍스(Cortex)-A78AE CPU를 통합했다. 고속 인터페이스, 빠른 메모리 대역폭 및 멀티모달 센서를 통해 여러 개의 동시 다발적 AI 애플리케이션 파이프라인을 지원한다.

젯슨 AGX 오린은 엔비디아 쿠다(CUDA)-X 가속 컴퓨팅 스택, 엔비디아 젯팩(JetPack) 소프트웨어개발키트(SDK) 및 클라우드 네이티브 개발 워크플로를 비롯해 애플리케이션 개발 및 최적화를 위한 최신 엔비디아 툴을 활용할 수 있다. 엔비디아 NGC 카탈로그에서 사전 훈련된 모델이 최적화돼 엔비디아 타오(TAO) 툴킷 및 고객 데이터세트로 미세 조정될 수 있다. 이를 통해 프로덕션 품질 수준의 AI 배포에 소요되는 시간과 비용을 줄이는 동시에 클라우드 네이티브 기술로 제품 수명주기에 걸쳐 원활한 업데이트를 진행할 수 있다.

젯슨 임베디드 컴퓨팅 파트너 생태계는 카메라 및 기타 멀티모달 센서, 캐리어 보드, 하드웨어 설계 서비스, AI 및 시스템 소프트웨어, 개발자 도구 및 맞춤형 소프트웨어 개발을 비롯해 광범위한 서비스와 제품을 포함한다.

구체적인 활용 사례를 위해, 소프트웨어 프레임워크에는 로보틱스를 위한 옴니버스(Omniverse) 기반 엔비디아 아이작(Isaac) Sim, 헬스케어를 위한 엔비디아 클라라 홀로스캔(Clara Holoscan) SDK 및 자율주행을 위한 엔비디아 드라이브가 포함된다.
최신 아이작 배포 버전에는 로봇운영체제(ROS) 개발자 커뮤니티에 대한 지원 사항이 포함돼 있다. 엔비디아는 또한 합성 데이터 생성 및 ROS 개발자들이 젯슨 플랫폼에서 고성능 AI 지원 로봇을 더 쉽게 구축하도록 돕는 하드웨어 가속 소프트웨어 패키지인 아이작 GEM용 최신 옴니버스 리플리케이터(Omniverse Replicator)를 출시했다.

엔비디아 젯슨 AGX 오린 모듈과 개발자 키트는 2022년 1분기에 제공될 예정이다. 사전 등록을 통해 구체적인 출시 일정 및 세부 사양, 백서 다운로드를 확인할 수 있다.
2019년 12월 발표된 자율주행 차량을 위한 소프트웨어정의 플랫폼인 엔비디아 드라이브 AGX 오린은 젯슨 AGX 오린과 같이 엔비디아 암페어 아키텍처에 기반하며 운송 업계를 위한 플랫폼이다. 이 플랫폼은 엔비디아 드라이브 컨시어지와 드라이브 쇼퍼의 기반이 되는 프로세서이며, 두 최신 플랫폼은 AI 어시스턴트를 통해 차량 내에서의 운전자 경험을 재정의하고, 각각 차량의 안전성 및 자율주행을 지원한다. 
드라이브 컨시어지는 엔비디아 드라이브 IX 기술과  엔비디아 옴니버스 아바타를 사용해 엔비디아 드라이브 AV 기술을 기반으로 드라이브 쇼퍼와 직접 상호작용하며 차량 내 경험을 새롭게 바꾼다.

드라이브 컨시어지를 통해 자동차 탑승자는 실시간 대화형 AI를 위한 엔비디아 옴니버스 아바타와 엔비디아 드라이브 IX를 사용해 상시로 켜 있는 지능형 서비스에 액세스할 수 있다. 옴니버스 아바타는 음성 AI, 컴퓨터 비전, 자연어 이해, 추천 엔진과 시뮬레이션을 연결해 준다. 플랫폼에서 만들어진 아바타는 다양한 범위의 주제에 대해 보고 말하고 대화하면서 말한 내용의 의도를 자연스럽게 이해할 수 있는 레이 트레이싱 3D 그래픽을 가진 인터랙티브 캐릭터다.

옴니버스 아바타 기술을 통해 드라이브 컨시어지는 디지털 비서 역할을 하면서 추천, 예약, 전화 등의 기능을 수행할 수 있고 자동차에 지갑을 두고 내리는 상황이 벌어지는 경우에 미리 경고해주기도 한다. 운전자와 승객에 따라 맞춤식으로 개인화돼 차량 탑승자 모두에게 개인별 안내도 해준다. 

옴니버스 아바타를 사용하면 자동차와 자연스럽게 소통할 수 있으며, 이전에는 물리적으로 조작하거나 터치 스크린이 필요했던 많은 기능들을 음성으로 제어할 수 있다.

이외에도 드라이브 컨시어지는 주문형 발렛 주차기능으로 운전자들이 쉽게 이동하도록 도와준다. 실내 카메라와 멀티모달 상호작용을 통해 필요시에는 운전자가 도로에 주의를 기울이게 환기시키는 보호자 역할도 한다.

운전자와 승객은 옴니버스 아바타의 3D 그래픽으로 자동차의 AI의 마음을 읽을 수도 있다. 드라이브 컨시어지는 드라이브 쇼퍼와 긴밀히 통합돼 낮은 지연시간으로 고품질의 360도 4D 시각화를 제공한다.

시스템 간의 이러한 협력을 통해 드라이브 컨시어지는 자동차 소환, 주차 장소 검색, 신경망 그래픽을 사용한 자동차의 3D 서라운드 뷰 재구성 등의 기능을 수행한다.

엔비디아 드라이브 AV 소프트웨어개발키트(SDK) 기반 AI 지원 운전 플랫폼인 드라이버 쇼퍼는 고속도로와 시내 주행 모두를 안전하게 처리할 수 있다. 항상 자동차를 제어하고 주변 환경을 감시해야 하는 운전자의 부담을 덜어주어 운전자의 시간과 에너지를 아껴준다.

드라이브 하이페리온 8(Hyperion 8)의 고성능 컴퓨팅 아키텍처와 센서 세트를 사용하는 드라이버 쇼퍼는 한 주소에서 다른 주소까지 주행할 수 있다. 직접 운전대를 잡는 운전자를 위해서 이 시스템은 위험한 상황에 개입하면서 안전 기능을 제공한다.

전체 드라이브 쇼퍼 파이프라인은 현실세계를 4D로 인식하도록 설계됐다.

---