고성능 AI 인프라 지원…NPU 활용한 sLM 성능 검증 예정
[아이티데일리] KT클라우드(대표 최지웅)는 자사 서비스형 GPU(GPUaaS)에 엔비디아 ‘H200’을 적용해 최적화된 고성능 인공지능(AI) 인프라를 제공한다고 24일 밝혔다.
KT클라우드는 AI 인프라가 필요한 국내 다수 공공기관과 AI 스타트업을 대상으로 사용량 기반의 탄력적인 GPU 자원 이용이 가능한 GPUaaS 서비스를 제공 중이다. △단기간 대용량·고사양의 GPU 공급이 요구되는 학습 영역에 특화된 ‘AI 트레인(Train)’ △적은 양의 GPU를 끊김 없이 상시 공급해야 하는 추론 영역에 특화된 ‘AI 서브(SERV)’ 등 엔비디아 기반의 다양한 상품 라인업을 지원 중이다.
특히 AI 트레인은 다수 공공·민간 고객 레퍼런스를 통해 대규모 GPU 노드 클러스터링과 동적할당 제어 기능을 검증받은 바 있다. KT클라우드는 기존 H100 GPU 중심으로 운영되던 AI 트레인 서비스에 H200을 적용해 한층 강화된 성능을 구현한다는 계획이다.
엔비디아 H200은 업그레이드된 호퍼(Hopper) 아키텍처 기반의 최신 GPU 제품으로, AI 및 고성능 컴퓨팅(HPC) 워크로드를 가속화하는 데 중점을 둔 제품이다. 이전 모델인 H100 대비 연산 처리 능력과 전력 효율성이 개선됐으며, 메모리 대역폭도 넓어져 최적화된 고성능 학습 및 추론 인프라 환경을 제공할 것으로 주목받고 있다.
KT클라우드는 GPU뿐만 아니라 신경망처리장치(NPU) 영역에도 대응하기 위해 리벨리온과 협력해 추론 전용 인프라인 ‘AI 서브 NPU’ 서비스를 제공 중이다. 올해 5월 출시 예정인 리벨리온 ‘아톰 맥스’를 AI 서브 NPU에 적용해 소형언어모델(sLM)이 요구하는 NPU 성능 검증을 진행한다.
또한 KT클라우드는 미국 반도체 설계 업체 암페어(Ampere)와도 AI 반도체 사업 협력을 검토하는 등 업계 주요 사업자와 다양한 협력을 통해 지속적으로 사업 영역을 확장할 계획이다.
한편 KT클라우드는 올 하반기 중 공공기관을 대상으로 추론 전용 상품의 클라우드 보안인증(CSAP) 절차를 진행하며 공공 분야 AI 수요에도 적극 대응한다는 방침이다.
KT클라우드 공용준 클라우드본부장은 “이번 엔비디아 H200 도입을 통해 글로벌 수준의 AI 인프라를 확보하며 AI 클라우드 사업자로서의 역량을 한층 높일 수 있게 됐다”며 “향후 인프라뿐 아니라 AI옵스(Ops) 등 AI 서비스 포트폴리오를 강화하고, AI 기술 경쟁력을 높이며 다양한 고객 니즈를 맞춰 나가겠다”고 말했다.


