[아이티데일리] 델 테크놀로지스(Dell Technologies)가 인공지능(AI)의 핵심 원료인 데이터(Data)를 원활하게 저장하고 활용할 수 있도록 지원하는 스토리지 솔루션의 중요성을 강조하며 AI 스토리지 시장 선두 굳히기에 나선다. 델은 하드웨어 인프라 솔루션뿐만 아니라 엔비디아를 비롯한 주요 AI 및 분석 솔루션 기업들과의 협력을 확대하고, 서비스와 지원 조직까지 준비된 AI 파트너임을 강조하고 있다. 델 테크놀로지스의 비정형 데이터 솔루션(Unstructured Data Solution; UDS) 사업부 변재근 전무를 통해 AI 시대 스토리지의 중요성과 델의 ‘파워스케일(PowerScale)’ 스토리지에 대해 들어본다.

2023년은 인공지능(AI) 광풍이 일었던 해로 평가된다. 단순한 챗봇 수준을 넘어 모든 산업군에서 큰 영향을 끼치고 있는 것이 AI다. 수많은 기업들이 AI에 대해 큰 기대를 갖고 있으며, 심하게 말하면 ‘패닉 바잉(panic buying)’이라고 평가할 정도로 AI를 앞다퉈 도입하고자 하는 상황이다. 기업들은 AI를 통해 새로운 매출 창출, 비용 절감, 좀 더 빠른 혁신 등이 가능할 것으로 기대하면서 많은 투자를 하고 있다.

이처럼 AI의 중요성이 확대되면서, 그동안 신기술의 보급과 확산에 기여해온 델 테크놀로지스도 AI를 시장 전략의 핵심으로 삼고 빠르게 대응에 나서고 있다. 마이클 델 회장은 “AI가이 앞으로 10여 년 이상 우리 산업과 각 사회 분야를 정의하는 핵심 기술이 될 것”이라고 전망하면서 “그런 AI에 있어 가장 중추적인 연료 역할을 하는 것이 바로 데이터”라고 강조하기도 했다. 이는 델에게 있어 데이터 사업이 얼마나 중요한지를 직접적으로 언급한 것이라 할 수 있다.

AI 발전에 핵심 역할을 하고 있는 데이터는 지금 이 순간에도 기하급수적으로 늘어나고 있다. IDC가 2023년 발표한 연구 결과에 따르면, 2025년이 되면 전 세계적으로 데이터의 총량은 175제타바이트(ZB)에 달할 것으로 전망된다. 특히 전체 데이터 가운데 비정형데이터가 90%를 차지할 것으로 분석됐다. 5년 전에는 비정형데이터가 80%, 정형데이터가 20%를 차지할 것이라는 게 IDC의 예측이었다. 비정형데이터의 증가 속도가 기존의 예상을 뛰어 넘을 만큼 빠르다는 점을 확인할 수 있다.

이처럼 비정형데이터의 중요성이 높아진다는 것은 데이터 분석에도 변화가 왔다는 것을 의미한다. 전통적인 데이터 분석은 대부분 정형데이터 위주로 CPU 코어(core) 몇 개, 데이터도 몇 테라바이트(TB) 정도면 충분한 수준이었다. 하지만 자율주행 등과 같은 워크로드에서는 이미지, 영상, 음성 등 고용량의 비정형데이터가 분석 대상이다. 이러한 데이터들은 수백 페타바이트(PB) 이상의 용량을 갖고 있으며, 수백 개의 코어를 활용해 분석해야 한다. 기존과 비교할 수 없을 정도로 빠른, 초 대규모 인프라가 필요한 상황이다.

델 테크놀로지스의 비정형 데이터 솔루션(UDS) 사업부는 AI 관련 사업이 본격적으로 확대될 것으로 보이는 현재 상황에서 비정형데이터에 특화된 자사의 스토리지 ‘파워스케일(PowerScale)’ 포트폴리오를 내세우며 AI에 적합한 인프라임을 강조하고 있다. 델 테크놀로지스 UDS 사업부의 변재근 전무로부터 AI와 스토리지 인프라의 중요성을 들어본다.

AI 광풍 속 확장성 있는 고성능 스토리지 중요성 높아져

Q. 최근 AI 산업이 급성장했다. 그 배경은.

“먼저 AI의 연료가 되는 데이터가 크게 증가했다. 그리고 증가한 대부분의 데이터는 비정형데이터다. 그리고 예전에는 데이터가 늘어나더라도 저장 공간인 스토리지가 고가였기 때문에 모든 데이터를 저장할 수 없었다. 지금은 가격이 많이 싸졌기 때문에 발생하는 모든 데이터를 저장할 수 있게 됐다. CPU 및 GPU 기술이 충분히 발전한 것도 있다. 고성능 컴퓨팅(HPC) 기술을 활용한 분석 기술이 많이 보급됐다. 또한 AI 모델 관련 기술들이 빠르게 발전하면서 지난해부터 시장이 급성장했다.”

Q. AI에서 스토리지가 중요한 이유는.

“S&P 글로벌이 2022년에 AI/머신러닝(ML) 워크로드의 성능을 향상시키기 위해 가장 중요한 인프라는 무엇이냐는 설문조사를 했다. 해당 조사에서 고성능 스토리지의 중요성은 네트워크에 이어 두번째로 높은 순위에 자리했다. 특히 단순한 고성능의 스토리지가 아니라, 확장성 있는(scalable) 고성능 스토리지가 중요하다고 답했다.”

“현재 CPU, GPU의 발전에 비해 스토리지 부문의 기술 발전이 다소 뒤처지는 것이 사실이다. 그러다 보니 현재의 AI 아키텍처에서는 데이터의 입출력(I/O)에서 병목현상이 생길 수 있다. 그렇게 되면 AI 모델 개발 사이클이 늘어나고, GPU 활용도가 떨어지게 되며, 결과적으로 분석 정확도가 저해되고 대규모 AI 모델링으로 확대하는 데 제약을 겪게 된다. 따라서 AI를 위한 스토리지는 데이터 준비, 학습과 튜닝, 추론 등 전체 단계에 맞춘 적절한 성능과 기능이 필요하다.”

성능과 투자 효율 모두 만족하는 ‘파워스케일’

Q. AI 스토리지에 대한 고객들의 고민은 무엇인가.

“고객들을 만나 보면, AI 인프라를 구축하려고는 하는데 AI 개발 팀이 어떤 형태의 알고리즘을 만들고 또 사용하려고 하는지를 아직 잘 모르겠다고 이야기하고 있다. 즉 어떤 인프라를 도입해야 할지, 비즈니스의 불확실성 때문에 투자를 하기가 쉽지 않은 상황이다. 또한 사용자들은 항상 최고 수준의 인프라를 원하고, 일관된 성능을 보장해주기를 기대한다. 하지만 CIO 입장에서는 비용 문제를 무시할 수 없다. 향후 성능 및 용량을 확장할 때도 빠르고 쉽게, 저비용으로 업그레이드할 수 있기를 바란다.”

Q. 델 테크놀로지스는 어떤 해결책을 제시하나.

“델 테크놀로지스의 ‘파워스케일’은 AI 스토리지의 기본요건인 △스케일 아웃(Scale-out) △단일 파일시스템 △자동 계층화 △멀티 프로토콜 등 4가지 특징을 갖고 있어, 이러한 고민들을 모두 해결할 수 있는 스토리지라고 할 수 있다.”

“먼저 파워스케일은 성능과 용량이 선형적으로 증가하는 스케일 아웃 아키텍처를 지원한다. 최대 252노드까지 단일 클러스터로 구성할 수 있다. 이러한 스케일 아웃 구조는 비용 증가에 대한 예측도 쉽다는 장점이 있다. 단일 파일시스템을 지원한다는 것도 장점이다. 180PB까지 단일 파일시스템으로 지원하므로 스토리지 관리자는 볼륨 간 밸런싱을 신경쓰지 않고 단순히 용량 관리만 하면 된다.”

“비용 측면에서의 문제를 해결하기 위한 자동 계층화도 특징이다. 최고 성능을 사용하기를 원하는 사용자에게는 올플래시의 성능을 제공하고, 잘 사용하지 않는 데이터는 저성능의 아카이빙 스토리지로 들어가도록 정책적으로 설정이 가능하므로 스토리지 비용을 최적화할 수 있다. 마지막으로 모든 워크로드를 수용하는 멀티 프로토콜도 장점이다. 업무별로 별도의 스토리지를 도입하거나 변환 작업을 별도로 할 필요 없이, 본인이 사용하는 프로토콜로 읽기만 하면 된다. 상당한 시간이 소요될 수 있는 데이터 전처리 과정을 크게 줄인다는 점에서 AI 시장에서 상당히 중요한 기능이라고 할 수 있다.”

엔비디아와 긴밀히 협력…“준비된 AI 인프라 기업”

Q. 델의 AI 관련 역량에 대해 소개해달라.

“델 테크놀로지스는 이미 2015년에 엔비디아와 ADAS(첨단운전자지원시스템) 관련해 파트너십을 맺으며 AI 시장을 선도했다. 2019년에 엔비디아의 DGX1 슈퍼컴퓨터에 스토리지 포드(POD) 파트너십을 맺었고, 2020년에는 DGX2에 대한 스토리지 파트너십을 맺었다. 2021에는 GPU-다이렉트 기술과 관련한 인증 파트너가 됐다. 2023년에는 엔비디아와 함께 AI 인프라에 대한 레퍼런스 아키텍처 모델을 제공하는 ‘프로젝트 헬릭스(Project Helix)’를 발표했다. 뿐만 아니라 올해는 엔비디아의 ‘DGX 슈퍼포드(DGX SuperPOD)’ 인증도 함께 준비하고 있다. 1분기 내 발표 예정이다.”

“뿐만 아니라 스타버스트(Starburst), 데이터브릭스(Databrix), 스노우플레이크(Snowflake), 아이스버그(Iceberg), 클라우데라(Cloudera) 등 AI 및 분석 부문에서 시장을 선도하는 250여 개 이상의 기업들과 애플리케이션 인증 파트너십을 갖고 있다. 특히 엔비디아와 함께 검증한 생성형 AI용 인프라(Dell technologies Validated Design for Generative AI with Nvidia Infrastructure)를 통해 서버, 스토리지, 네트워크뿐만 아니라 서비스와 애플리케이션 영역까지 검증된 디자인을 보유하고 있다는 점에서 그 어떤 곳보다 AI에 준비된 비즈니스 파트너라고 할 수 있다.”

Q. 마지막으로 올해 주요 업데이트에 대해 소개해달라.

“먼저 올해 1분기 내 엔비디아 슈퍼포드 인증을 준비하고 있다. 특히 기존 인피니밴드를 벗어나 이더넷 기반으로 이번에 첫 인증을 받을 될 것으로 기대된다. 새로운 소프트웨어도 준비 중이다. 업그레이드된 새로운 원FS(One File System) 버전이 1분기 출시 예정이다. 올플래시 제품이 2배 이상의 성능 개선을 할 수 있을 것으로 기대하고 있다. AI 워크로드의 데이터 I/O를 최적화해주는 스마트 스케일아웃 기능도 상반기 출시 예정이다. 마지막으로 올플래시 제품군인 ‘파워스케일’ F시리즈의 새로운 모델들이 상반기 내 출시될 예정이다. 이처럼 델 테크놀로지스 UDS 사업부는 새로운 엔비디아와의 인증과 하드웨어 플랫폼을 통해 폭발적으로 늘어나는 고객들의 AI 관련 요구를 기술적으로 리딩할 수 있도록 준비하고 있다.”