엔비디아, SC24서 ‘H200 NVL PCle GPU’ 출시 발표

[아이티데일리] 엔비디아(NVIDIA)는 17~22일(현지시간) 미국 애틀랜타에서 개최되는 ‘슈퍼컴퓨팅 2024(Supercomputing 2024; SC24)’ 컨퍼런스에서 최신 호퍼(Hopper) 아키텍처 제품인 엔비디아 ‘H200 NVL PCIe GPU’를 출시한다고 밝혔다.

엔비디아 H200 NVL PCIe GPU는 낮은 전력 소비와 공랭식 엔터프라이즈 랙 설계 기반 데이터센터를 갖춘 조직에 적합한 제품이다. 규모와 관계없이 모든 인공지능(AI)과 고성능 컴퓨팅(HPC) 워크로드를 가속할 수 있는 유연한 구성을 갖췄다는 설명이다.

엔비디아가 발췌한 최근 조사에 따르면 엔터프라이즈 랙의 약 70%가 20kW 이하이며 공랭식을 사용하는 것으로 나타났다. 따라서 PCIe GPU가 필수적이다. PCIe GPU는 1개, 2개, 4개, 8개 등 세분화된 노드 배치를 제공해 데이터센터가 더 작은 공간에 더 많은 컴퓨팅 성능을 구현할 수 있게 해준다. 기업은 기존 랙을 활용하고 필요에 맞는 적합한 GPU 수를 선택할 수 있다.

특히 기업들은 H200 NVL을 사용해 AI와 HPC 애플리케이션을 가속화하는 동시에 전력 소비를 줄여 에너지 효율성을 개선할 수 있다는 게 주요 강점이다. H200 NVL은 엔비디아 H100 NVL 대비 메모리가 1.5배 늘어나고, 대역폭이 1.2배 증가한다. 이를 통해 기업들은 몇 시간 내에 거대언어모델(LLM)을 미세 조정하고 최대 1.7배 빠른 추론 성능을 확보할 수 있다. 또 HPC 워크로드의 경우 성능은 H100 NVL 대비 최대 1.3배, 엔비디아 암페어(Ampere) 아키텍처 세대 대비 2.5배까지 향상된다.

H200 NVL의 성능을 보완하는 것은 엔비디아 NV링크(NVLink) 기술이다. 최신 세대의 NV링크는 5세대 PCIe보다 7배 빠른 GPU 간 통신을 제공해 HPC, LLM 추론과 미세 조정의 요구 사항을 충족하는 더 높은 성능을 제공한다.

아울러 엔비디아 H200 NVL은 기업이 AI에서 HPC에 이르는 애플리케이션을 가속화할 수 있는 소프트웨어(SW) 도구와 함께 제공된다. 또한 프로덕션 AI의 개발과 배포를 위한 클라우드 네이티브 SW 플랫폼인 엔비디아 AI 엔터프라이즈(AI Enterprise) 5년 구독도 함께 제공된다. 엔비디아 AI 엔터프라이즈는 고성능 AI 모델 추론의 안전하고 신뢰할 수 있는 배포를 위한 엔비디아 NIM 마이크로서비스를 포함한다.

델 테크놀로지스(Dell Technologies), HPE, 레노버(Lenovo), 슈퍼마이크로(Supermicro)는 엔비디아 H200 NVL을 지원하는 다양한 구성을 제공할 예정이다. 또한 H200 NVL은 에이브레스(Aivres), 애즈락랙(ASRock Rack), 에이수스(ASUS), 기가바이트(GIGABYTE), 인그라시스(Ingrasys), 인벤텍(Inventec), MSI, 페가트론(Pegatron), QCT, 위스트론(Wistron), 위윈(Wiwynn)의 플랫폼에서도 사용할 수 있다.

H200 NVL을 탑재한 플랫폼은 다음 달부터 엔비디아의 글로벌 시스템 파트너를 통해 제공될 예정이다. 주요 글로벌 파트너의 공급을 보완하기 위해 엔비디아는 H200 NVL 시스템을 위한 엔터프라이즈 레퍼런스 아키텍처도 개발 중이다.

해당 레퍼런스 아키텍처에는 엔비디아의 전문성과 설계 원칙을 통합해 파트너와 고객이 H200 NVL을 기반으로 고성능 AI 인프라를 대규모로 설계하고 배포할 수 있도록 지원한다. 여기에는 최적의 서버, 클러스터, 네트워크 구성에 대한 자세한 지침과 함께 풀스택 하드웨어(HW) 및 SW 권장 사항이 포함된다. 네트워킹은 엔비디아 스펙트럼-X 이더넷(Spectrum-X Ethernet) 플랫폼을 통해 우수한 성능을 발휘하도록 최적화된다.