[아이티데일리] 오라클은 AMD와 오라클 클라우드 인프라스트럭처(OCI)의 AMD 인스팅트(AMD Instinct) MI355X GPU 지원 계획을 발표했다고 23일 밝혔다.

MI355X GPU는 대규모 AI 훈련 및 추론 워크로드에서 전 세대 대비 2배 이상 향상된 가성비를 갖췄다. 오라클은 OCI 기반 최신 AMD 인스팅트 프로세서로 가속화되는 제타스케일 AI 클러스터를 제공해 최대 13만 1072개의 MI355X GPU를 통해 대규모 AI 구축, 훈련, 추론을 지원할 예정이다.

OCI 기반 AMD 인스팅트 MI355X는 이전 세대 대비 최대 2.8배 처리량이 증가해 AI 배포 성능을 향상할 수 있다. 또한 대용량 모델 전체를 메모리에서 실행할 수 있어 높은 메모리 대역폭이 필요한 모델의 추론 및 훈련 속도를 높일 수 있고 새로운 구성은 288GB 고대역폭 메모리 3(HBM3)과 최대 8TB 메모리 대역폭도 제공한다.

아울러 새로운 FP4도 지원한다. 새로운 4비트 부동 소수점 컴퓨트(FP4) 표준으로 최신 LLM 및 생성형 AI 모델을 비용 효율적으로 배포할 수 있다. 이를 통해 매우 효율적인 고속 추론이 가능하다. 고밀도 수냉식으로 설계돼 랙당 125킬로와트로 성능 밀도를 극대화해 까다로운 AI 워크로드 처리를 지원한다. 랙당 64개의 GPU(각 1,400와트)가 제공되므로 더 빨라진 훈련 시간, 높은 처리량, 더 낮은 지연 시간을 기대할 수 있다.

운영 규모의 훈련 및 추론을 위해 설계됐다는 점도 강점이다. 신규 에이전틱 애플리케이션을 배포하는 고객에게 더 빠른 TTFT(time-to-first token) 및 높은 초당 토큰 처리량을 지원한다. 고객은 훈련 및 추론 워크로드 모두를 위한 향상된 가성비를 기대할 수 있다.

오픈소스 스택도 갖췄다. AMD ROCm을 통해 유연한 아키텍처를 활용하고, 특정 공급업체에 종속되는 일 없이 기존 코드를 손쉽게 마이그레이션할 수 있도록 지원한다. AMD ROCm은 널리 사용되는 프로그래밍 모델, 도구, 컴파일러, 라이브러리, 런타임 등을 포함하는 오픈 SW 스택으로, AMD GPU를 사용한 AI 및 HPC 솔루션 개발을 지원한다.

OCI 마헤쉬 티아가라얀 총괄 부사장은 “양사는 클라우드에서 가장 까다로운 AI 워크로드를 실행하는 고객들을 지원할 수 있는 가장 광범위한 AI 인프라 제품을 제공하기 위해 노력하고 있다. OCI가 제공하는 성능과 앞선 네트워킹, 유연성, 보안, 규모와 결합된 AMD 인스팅트 GPU는 AI 워크로드 및 새로운 에이전틱 애플리케이션에 대한 추론 및 훈련 요구사항을 충족하는 데 기여할 것”이라고 말했다.

AMD 포레스트 노로드 데이터센터 솔루션 비즈니스 그룹 총괄 부사장은 “AMD와 오라클은 고성능, 효율성, 시스템 설계 유연성 향상을 위한 개방형 솔루션을 제공해 왔다. OCI의 최신 세대 AMD 인스팅트 GPU 및 폴라라(Pollara) NIC는 새로운 추론과 미세 조정, 훈련 사용 사례를 지원하며 AI 채택이 확대됨에 따라 고객에게 더 많은 선택권을 제공할 것”이라고 밝혔다.