AI 개발 위한 클라우드 슈퍼컴퓨팅 서비스 ‘LLM용 HPE 그린레이크’ 공개

[아이티데일리] HPE는 20일(미국 현지시간) 열린 자사 최대 연례행사 ‘HPE 디스커버 라스베가스 2023’에서 대규모 언어모델(Large Language Model; LLM)을 위한 제품 ‘LLM용 HPE 그린레이크(HPE GreenLake for LLM)’를 공개했다고 밝혔다. LLM용 HPE 그린레이크는 스타트업부터 포춘 500대 기업에 이르기까지 다양한 규모의 기업들이 온디맨드 형식으로 멀티 태넌트 슈퍼컴퓨팅 클라우드 서비스를 이용할 수 있도록 지원한다.

HPE의 LLM용 그린레이크는 HPE의 AI 소프트웨어와 슈퍼컴퓨터를 함께 활용할 수 있는 플랫폼이다. 기업들은 해당 서비스를 도입해 자체적으로 대규모 AI 모델을 훈련, 조정 및 배포할 수 있다. HPE는 고객들이 업계에서 검증된 LLM을 바로 사용할 수 있도록 독일의 AI 스타트업 파트너 알레프 알파(Aleph Alpha)와 협력해 LLM용 HPE 그린레이크를 제공할 계획이다. 이를 통해 HPE는 기업들이 텍스트와 이미지 처리 및 분석이 필요한 사용 사례 개발에 박차를 가하도록 지원한다는 방침이다.

HPE는 향후 기후 모델, 헬스케어, 생명과학, 금융 서비스, 제조 및 운송에 이르기까지 다양한 업계 및 도메인에 특화된 AI 애플리케이션 시리즈를 출시할 계획이며, 이날 발표된 HPE의 LLM용 그린레이크는 해당 시리즈의 첫 시작을 의미한다고 밝혔다.

HPE CEO인 안토니오 네리(Antonio Neri) 회장은 “오늘날 우리는 웹, 모바일 및 클라우드만큼 혁신적인 AI 시장의 세대변화를 마주하고 있다. HPE의 입증된 지속가능한 슈퍼컴퓨팅에서 구동되는 LLM 등 다양한 AI 애플리케이션을 제공함으로써, HPE는 자금력이 풍부한 정부출연연구소나 글로벌 클라우드 대기업의 전유물이었던 AI를 HPE의 검증된 슈퍼컴퓨터를 통해 모두가 접근할 수 있는 영역으로 만들고 있다. 이제 많은 기관과 기업들은 온디맨드 클라우드 서비스를 통해 AI 모델을 훈련, 조정 및 배포함으로써, AI를 활용해 혁신을 일으키고 시장에 변화를 꾀하고 돌파구를 찾을 수 있게 됐다”고 말했다.

HPE는 슈퍼컴퓨팅 분야의 글로벌 리더이자 전문가임을 자부한다. 세계에서 가장 빠른 슈퍼컴퓨터인 ‘프론티어(Frontier)’를 보유, 엑사스케일 속도의 장벽을 돌파하는 등 AI를 위한 전례 없는 수준의 성능과 규모를 제공하고 있다는 설명이다.

병렬 구조로 여러 워크로드를 동시에 처리하는 다른 범용 클라우드 서비스와는 달리, HPE의 LLM그린레이크는 컴퓨팅 역량을 최대로 활용해 대규모 단일 AI 트레이닝 및 시뮬레이션 워크로드를 처리할 수 있도록 특별히 제작된 AI 네이티브 아키텍처에서 구동된다. 해당 제품은 수백에서 수천개의 CPU 또는 GPU에서 구동되던 AI 및 HPC 업무를 한 번에 지원할 수 있다. HPE는 이러한 역량이 AI를 훈련하고 더욱 정확한 모델을 생성하는 데 있어 더욱 효과적이며, 신뢰할 수 있고 효율적이라고 설명한다. 이를 통해 기업들이 개념검증(POC) 단계에서 생산에 이르기까지 모든 과정을 더욱 가속화해 직면한 문제를 더욱 빠르게 처리할 수 있게 될 것으로 기대한다.

LLM용 HPE 그린레이크: AI 애플리케이션 시리즈의 출발

HPE LLM용 그린레이크는 알레프 알파(Aleph Alpha)의 사전 훈련된 대규모 언어모델인 ‘루미너스(Luminous)’에 대한 접근도 제공하며 해당 모델은 영어, 프랑스어, 독일어, 이탈리아어 및 스페인어 등 다양한 언어로 서비스된다. 또한 고객들을 이를 활용해 자사 데이터를 활용하고 맞춤형 모델을 훈련 및 미세조정(Fine-tune)하며 예측가능한 정보를 바탕으로 실시간 인사이트를 도출해 낼 수 있다.

해당 서비스를 통해 기업들은 다양한 시장에 맞게 AI 애플리케이션을 구축하고 워크플로우에 통합시켜 비즈니스 및 연구를 기반으로 한 가치를 창출할 수 있다.

알레프 알파 설립자인 조나스 안드룰리스(Jonas Andrulis) CEO는 “HPE의 슈퍼컴퓨터 및 AI 소프트웨어를 활용해 알레프 알파는 더욱 효율적이고 신속하게 루미너스를 훈련할 수 있었으며, 루미너스는 은행, 병원 및 로펌과 같은 주요 비즈니스들이 의사결정을 더욱 빠르게 내리고 시간과 자원을 절약할 수 있도록 도와주는 디지털 어시스턴트와도 같다. 파트너로서 HPE LLM용 그린레이크의 출시를 함께할 수 있어 매우 자랑스럽다. 향후 HPE와의 협력 확대를 통해 루미너스를 클라우드로 확장하고 고객들에게 이를 서비스형(As-a-service)로 제공함으로써 최종 고객들이 비즈니스와 연구 목표를 위한 새로운 애플리케이션 활용에 박차를 가할 수 있기를 기대하고 있다”고 말했다.

AI의 훈련, 조정 및 배포를 위한 슈퍼컴퓨팅 규모 서비스 제공

HPE LLM용 그린레이크는 세계에서 가장 강력하고 지속가능한 슈퍼컴퓨터인 ‘HPE 크레이 XD 슈퍼컴퓨터(HPE Cray XD supercomputers)’에서 구동되며 온디맨드로 이용 가능하다. 이를 통해 고객들은 비용이 높고 관리가 복잡하며 전문 기술이 필요한 슈퍼컴퓨터를 자체적으로 구매하거나 관리할 필요가 없어졌다는 게 HPE의 설명이다. 해당 서비스는 ‘HPE 크레이 프로그래밍 환경(HPE Cray Programming Environment)’을 통해 제공되는데, 이는 소프트웨어 제품군에 완전히 통합된 서비스로서 HPC 및 AI 애플리케이션을 최적화해주며 개발, 포팅(porting), 디버깅 및 코드 조정을 위한 완전한 툴셋을 제공한다.

이에 더해 슈퍼컴퓨팅 플랫폼은 HPE의 AI/ML 소프트웨어를 제공하는데, 그 중 ‘HPE 머신러닝 개발 환경(HPE Machine Learning Development Environment)’은 대규모 모델을 빠르게 훈련하는 것을 돕고, ‘HPE 머신러닝 데이터 매니지먼트 소프트웨어(HPE Machine Learning Data Management Software)’는 재현가능한(reproducible) AI 역량을 바탕으로 데이터를 통합, 추적 및 검사함으로써 믿을 수 있고 정확한 모델을 생성할 수 있도록 한다.

지속가능한 컴퓨팅에서 구동되는 LLM용 HPE 그린레이크

HPE는 고객들을 위해 지속가능한 컴퓨팅 서비스를 제공하기 위해 노력하고 있으며 HPE의 LLM용 그린레이크는 코로케이션 시설에서 이용할 수 있다고 밝혔다. 일례로 북미지역에는 큐스케일(QScale)에서 사용할 수 있는데, 큐스케일은 거의 100%로 재생에너지를 활용해 슈퍼컴퓨팅의 규모와 역량을 지원하며 목적에 맞게 설계할 수 있는 최초의 리전이라는 설명이다.

신규 AI 추론 컴퓨팅 솔루션 포트폴리오 출시로 AI 제품군 확대

HPE는 AI 업무에 가장 핵심적인 세가지 영역, 훈련, 조정 및 추론 각 부분을 지원한다. LLM을 훈련하고 조정할 수 있는 HPE LLM용 그린레이크에 더해, HPE는 추가적으로 AI 추론 컴퓨팅 솔루션을 공개했다. 회사는 해당 솔루션이 유통, 숙박, 제조, 미디어 및 엔터테인먼트에 이르기까지 다양한 산업들의 가치창출을 더욱 가속화할 수 있도록 지원할 것이라고 소개했다.

이러한 시스템들은 엣지의 컴퓨터 비전이나 생성형 시각적 AI 및 자연어 처리 AI등 엣지와 데이터센터 내에 있는 워크로드를 타기팅하도록 조정됐다. 해당 제품은 ‘HPE 프로라이언트 11세대(Gen11)’ 서버에 기반을 두고 있다. HPE 프로라이언트 젠11은 한층 더 발전된 GPU 가속화 역량을 통합할 수 있도록 맞춤 설계됐으며 이는 AI 성능에 핵심적이라는 설명이다. ‘HPE 프로라이언트 DL380a’와 ‘DL 380 젠11’서버는 이전 모델보다 5배 더 뛰어난 AI 추론 역량을 지원한다.

한편 HPE는 현재 LLM용 HPE 그린레이크 추가주문을 접수하고 있으며 2023년 말까지 서비스를 제공하기 시작할 계획이다. 북미지역을 시작으로 제공되며 이후 유럽지역에는 2024년에 제공 가능할 것으로 예상된다.

또한, 이번 행사에서 HPE는 AI 추론 컴퓨팅 솔루션의 추가 기능도 발표했다. 신규 HPE 프로라이언트 젠11 서버는 더욱 높은 수준의 GPU를 기반으로 AI 워크로드에 최적화돼 있다고 소개됐다. HPE 프로라이언트 DL380a(HPE ProLiant DL380a)와 DL 380 젠11서버는 이전 모델보다 5배 더 뛰어난 AI 추론 역량을 지원한다. 이밖에 HPE 서비스(HPE Services)는 전략, 디자인, 운영에서 관리에 이르기까지 AI 이니셔티브를 위한 종합적인 서비스 포트폴리오를 제공하고 있다.