엔비디아, CPU 대비 237배 뛰어난 AI 추론 성능 제공

엔비디아는 자사의 인공지능(AI) 컴퓨팅 플랫폼이 최신 MLPerf 벤치마크 테스트에서 성능 기록을 경신했다고 밝혔다. 

엔비디아는 두 번째 MLPerf 추론 벤치마크에서 데이터센터 및 엣지(edge) 컴퓨팅 시스템에 대한 6개 애플리케이션 영역 모두에 걸쳐 최고 성능을 달성했다. 해당 테스트는 컴퓨터 비전에 대한 기존 두 가지 영역 외에도, AI 분야에서 가장 빠르게 성장하는 추천 시스템, 자연어 이해, 음성인식, 의료 이미징을 다루는 네 가지 영역을 포함한다. 

엔비디아의 이안 벅(Ian Buck) 가속 컴퓨팅 담당 부사장 겸 총괄은 “모든 업계가 AI를 통해 새로운 서비스를 제공하고 비즈니스를 성장시킬 수 있는 더 나은 방법을 모색하게 되면서, AI의 활용이 폭발적으로 증가하는 티핑 포인트(Tipping Point)에 도달하고 있다. MLPerf 테스트에서 기록적인 성과를 달성하기 위해 엔비디아가 일궈낸 결과물들은 기업들에게 우리의 일상을 개선할 수 있는 새로운 수준의 AI 성능을 제공한다”고 말했다. 

엔비디아 GPU는 처음으로 퍼블릭 클라우드에서 CPU 보다 더 많은 AI 추론 용량을 제공한다. 엔비디아 GPU의 총 클라우드 AI 추론 컴퓨팅 용량은 2년마다 약 10배씩 증가하고 있다.

엔비디아가 올해 초 선보인 3세대 텐서(Tensor) 코어와 멀티인스턴스 GPU 기술이 적용된 엔비디아 A100은 레스넷(ResNet)-50 테스트에서 CPU보다 30배 이상 높은 성능을 기록했다. 또한, MLPerf 추론 0.7 벤치마크에 따르면, 새롭게 추가된 데이터센터 추론을 위한 추천 테스트에서 엔비디아 A100은 최신 CPU 대비 237배 뛰어난 성능을 보였다. 이는 단일 엔비디아 DGX A100 서버가 약 1,000대의 듀얼 소켓 CPU 서버와 동일한 성능을 제공할 수 있다는 것을 의미한다.

이번 벤치마크 결과는 또한 엔비디아 T4 텐서 코어 GPU가 주요 기업용 서버, 엣지 서버, 그리고 비용 효율적인 클라우드 인스턴스를 위한 견고한 추론 플랫폼임을 보여준다. 엔비디아 T4 GPU는 동일한 테스트에서 CPU 성능을 최대 28배 능가했다. 또한 엔비디아 젯슨 AGX 자비에(Jetson AGX Xavier)는 SoC(시스템온칩) 기반 엣지 디바이스 가운데 단연 독보적인 성능을 제공한다. 

이러한 결과를 얻는 데에는 엔비디아 텐서RT(TensorRT) 추론 최적화, 엔비디아 트라이톤(Triton) 추론 지원 소프트웨어를 포함한 고도로 최적화된 소프트웨어 스택이 필요했다. 두 소프트웨어 모두 엔비디아의 소프트웨어 카탈로그인 NGC에서 이용할 수 있다. 

한편, 엔비디아 외에도, 11개의 엔비디아 파트너사가 엔비디아 GPU를 활용해 총 1,029개의 결과를 제출했는데, 이는 데이터센터 및 엣지 부문 총 제출량의 85% 이상을 차지하는 수치라고 한다.

---

AEM_Automotive Electronics Magazine