pNFS 가상화해 데이터 중력 해소한 ‘글로벌 데이터 플랫폼’ 전면 배치
[아이티데일리] 비정형 데이터 활용 및 통합 플랫폼을 제공하는 해머스페이스(Hammerspace)가 급속하게 성장하고 있는 사세를 보다 넓히고자 국내에 진출한다. 올해 일본과 중국에 진출하며 아태지역 공략을 강화하고 있는 가운데, 기술 도입 속도가 빠르고 엔터프라이즈 잠재고객이 많다는 전략적 판단 하에 한국을 전략적 요충지로 낙점한 것이다. 국내 비정형 데이터 활용 및 통합 업계를 겨냥하고 있는 해머스페이스는 비즈니스 전면에 ‘글로벌 데이터 플랫폼(GDP, Global Data Platform)’을 내세우고 있다.
8일 해머스페이스는 CEO 방한 기자간담회를 열었다.
미국에 본사를 두고 있는 해머스페이스는 올해 일본과 중국에 진출하는 등 아시아태평양(APAC) 지역 공략을 강화하고 있다. 전년 대비 고객사가 32% 증가했고, 매출이 10배 성장하는 등 괄목할 만한 성과를 토대로 APAC 지역으로 세를 확대하고 있다. APAC 사세 확장을 위해 한국 유수의 고객사를 확보하는 전략을 수립했다. 전 세계에서 기술 도입 속도가 빠른 시장인 한국에 AI, 클라우드 HPC 등 잠재 고객이 많기에 전략적 요충지로 선택한 것이다.
해머스페이스는 국내 시장에 다양한 형태로 GDP를 공급한다는 계획이다. 기반 인프라에 대한 제한 없이 베어메탈 서버 및 가상머신(VM), 클라우드 인스턴스 등 다양한 형태로 유연하게 배포하도록 지원한다는 계획이다. 또한 HW 기업과의 협약을 통해 어플라이언스 형태로도 제공할 예정이다.
해머스페이스는 국내 사업을 위해 GPU 클라우드 서비스를 제공하는 국내 클라우드 서비스 제공사(CSP) 2곳과 협의를 논의 중이다. HW 및 SW 기업과 파트너십을 구축·확대할 계획이며, 현재 4~5곳의 국내 파트너사와 계약을 체결하는 등 기반 작업에 나선 상태다.
해머스페이스는 국내 비정형 데이터 활용 및 데이터 통합 플랫폼 업계를 공략하고자 ‘글로벌 데이터 플랫폼(Global Data Platform)’을 전면에 배치하고 있다. GDP는 스토리지나 클라우드 위치, 벤더에 상관없이 단일화된 글로벌 데이터 환경을 조성하고 필요한 데이터를 언제든 즉시 접근 가능한 상태로 제공할 수 있는 플랫폼이다. GDP는 데이터가 저장된 물리적 HW 인프라에 구애받지 않고 데이터가 필요한 모든 애플리케이션에 신속하게 전달할 수 있고, AI 기반 컴퓨팅 시대의 대규모 데이터 접근성을 확보할 수 있도록 지원한다.
GDP의 기술 근간은 병렬 네트워크 파일 시스템(pNFS)에 있다. pNFS는 서버 기반 스토리지, NAS 파일 스토리지, 오브젝트 스토리지, 클라우드 데이터 서비스 등 모든 유형의 스토리지를 통합할 수 있는 기술이다. 메타데이터를 활용해 분리된 데이터를 논리적으로 통합해 수동적인 데이터 이동 없이 전체적인 가시성과 즉각적인 접근 권한을 확보하게 한다. 다양한 데이터 소스를 하나의 네임스페이스, 단일 파일 시스템 및 논리적 스토리지 영역으로 통합해 관리하며, pNFS 외에도 NFS, 서버 메시지 블록(SMB), S3, GPU 다이렉트, 컨테이너 스토리지 인터페이스(CSI) 등 모든 표준 프로토콜을 지원한다.
해머스페이스 데이비드 플린(David Flynn) CEO에 따르면, 기존 NFS는 데이터를 전송할 때 서버나 중간 단계를 거치기 때문에 병목이 발생해 성능이 저하됐다. 약 15년 전 미국 로스 알라모스(Los Alamos) 연구소에서 이를 해결할 수 있는 pNSF 개념이 제안됐고, 해머스페이스가 이를 상업적으로 구현해 시장에 선보인 것이다.
데이비드 플린 CEO는 “당시 트론 미켈비스트(Tron Mickelbost) CTO가 리눅스 커널 관리 및 리눅스 운영 시스템 NFS 스택을 담당했었다. CTO가 보유한 리눅스 관련 경험과 리눅스 커뮤니티 내 네트워크를 활용해 리눅스 네이티브 기반의 pNFS를 구현할 수 있었다”고 부연했다.
한편, 해머스페이스는 메타 고객사례도 공유했다. 메타는 거대언어모델(LLM) ‘라마’ 학습 과정에서 효율성을 확보하고자 GDP를 도입했다. 메타는 글로벌 SW 기업으로 개발 역량이 뛰어나다. 하지만 AI 워크로드를 처리하기 위한 데이터 플랫폼을 직접 구축하기 위해선 수년의 개발 기간이 소요될 것으로 예상했다. 이에 메타는 이미 필요한 기능을 표준 기반의 리눅스 호환 솔루션으로 구현한 해머스페이스의 GDP를 도입했다.
수만 개의 GPU를 사용하고 있는 메타는 GDP를 도입함으로써 AI 학습에 필수적인 GPU 활용률을 40%에서 95%까지 비약적으로 높였다. 해머스페이스 솔루션이 데이터를 GPU에 빠르게 공급해, GPU가 데이터를 기다리느라 유휴 상태에 놓이는 시간을 최소화했기 때문에 가능했다.
메타는 라마 2부터 시작해 라마 3, 라마 4까지 해머스페이스의 GDP를 2년 이상 활용하고 있다. 또한 아마존웹서비스(AWS), 오라클, 코어위브(Corweave) 등 하이브리드 클라우드 환경에서도 해머스페이스의 GDP를 통해 분산된 데이터를 효율적으로 관리하고 있다.


