‘세이지메이커’ 신기능 6종 추가, ‘아마존 S3’ 등 신규 스토리지 서비스 4종도 공개

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 머신러닝 담당 부사장

[아이티데일리] “최근 수많은 고객들이 데이터로 비즈니스를 혁신하고자 한다. 이를 돕기 위해 아마존웹서비스(AWS)는 컴퓨팅 서비스와 이를 토대로 구동되는 머신러닝 서비스의 효율성과 유연성을 모두 높였다. 이 서비스를 활용한다면 분산된 데이터를 클라우드 위에서 모아 새로운 비즈니스를 만들어 낼 수 있다.”

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 머신러닝 담당 부사장은 2일차를 맞이한 ‘AWS 리인벤트(re:Invent) 2021’ 키노트 세션에서 이 같이 강조했다.


데이터 기반 디지털 혁신 위한 ‘세이지메이커’

이날 행사에서 스와미 시바수브라마니안 부사장은 기업이 디지털 전환을 하기 위해선 인공지능(AI)과 머신러닝(ML)의 기반이 되는 데이터에 집중해야 한다고 강조했다. 데이터와 관련된 부분들이 사일로화 되지 않고 통합돼야만 고객이 비즈니스 가치를 만들어 낼 수 있다는 설명이다.

AWS는 이를 지원하기 위해 ‘아마존 세이지메이커(Amazon SageMaker)’에 6가지 신규 기능을 추가했다. 이번 새롭게 추가된 기능은 머신러닝을 훈련하기 위한 데이터 준비와 수집, 모델 학습 속도 향상, 추론을 위한 컴퓨팅, 규모 최적화 등에 초점이 맞춰졌다.

구체적으로는 노코드(No-Code) 환경, 정확한 데이터 라벨링, 전문 영역간 협업을 강화하는 ‘아마존 세이지메이커 스튜디오(Amazon SageMaker Studio)’ 범용 노트북 환경, 코드를 효율화하는 ML 학습을 위한 컴파일러, ML 추론에 대한 자동 컴퓨팅 인스턴스 선택, ML 추론을 위한 서버리스 컴퓨팅 등이다.

먼저 ‘리인벤트 2021’ 첫날 아담 셀립스키 CEO가 강조한 ‘아마존 세이지메이커 캔버스(Amazon SageMaker Canvas) 노코드 ML 예측’ 기능이다. ‘아마존 세이지메이커 캔버스’는 비즈니스 분석가를 대상으로 전문 지식 없이도, 코드를 작성하지 않고 정확한 ML 예측을 직접 생성할 수 있는 시각적 인터페이스를 제공함으로써 ML에 대한 접근성을 높일 수 있는 서비스다. 특히 ‘아마존 세이지메이커 캔버스’는 자동화된 머신러닝을 활용해 코딩 없이 모델을 구축하고 훈련시킬 수 있다. 비즈니스 분석가가 이 서비스를 사용한다면, 머신러닝 모델을 검토 및 평가해 정확성과 효율성을 높일 수 있다.

또 다른 기능으로는 ‘아마존 세이지메이커 그라운드 트루스 플러스(Amazon SageMaker Ground Truth Plus) 전문가 데이터 레이블링’ 서비스다. 이 서비스는 내장된 주석 워크플로우와 전문가 인력을 함께 활용해 보다 비용 합리적이고 신속한 노코드 ML 모델 학습을 위한 고품질 데이터를 제공하는 완전 관리형 데이터 레이블링 서비스다. 이를 통해 기업 고객은 간편하게 ‘아마존 세이지메이커 그라운드 트루스 플러스’를 ‘아마존 S3(Amazon S3)’의 데이터 소스에 지정함으로써 특정 레이블링에 대한 요구 사항을 제공할 수 있다.

다음으로는 ‘아마존 세이지메이커 스튜디오를 위한 범용 노트북’이다. 이는 데이터 엔지니어링, 분석 및 ML을 수행할 수 있는 단일 통합 환경을 제공한다. 다양한 목적을 위한 광범위한 데이터를 유기적으로 액세스, 변환 및 분석할 수 있도록 지원하는 이 서비스는 ‘아마존 EMR(Amazon EMR) 클러스터’에서 실행되는 ‘스파크(Spark)’, ‘하이브(Hive)’ 및 ‘프레스토(Presto)’와 ‘아마존 S3(Amazon S3)’에서 실행되는 데이터레이크와의 통합을 통해 ‘아마존 세이지메이커 스튜디오(Amazon SageMaker Studio)’를 활용해 서비스 전환 없이도 범용 노트북의 데이터를 액세스 및 조작할 수 있다.

이 외에도 ▲ML 모델을 위한 ‘아마존 세이지메이커 학습 컴파일러(Amazon SageMaker Training Compiler)’ ▲‘아마존 세이지메이커 추론 추천기(Amazon SageMaker Inference Recommender) 자동 인스턴스 선택 기능’ ▲ML 모델을 위한 ‘아마존 세이지메이커 서버리스 추론 기능’ 등도 추가됐다.

AWS 피터 데샨티스가 블록 스토리지에 대해 소개하고 있다.

머신러닝 훈련 위한 스토리지 서비스 강화

한편, 같은 날 오후에는 피터 데샨티스(Peter De Santis) AWS 글로벌 인프라스트럭처 및 고객 지원 부문 시니어 부사장이 머신러닝 훈련을 지원할 수 있는 스토리지에 대한 새로운 서비스를 소개했다. 그는 “AWS는 다양한 데이터를 단순히 하드디스크에 저장하는 것이 아닌 잘개 쪼개서 저장하는 방식을 채택해 분산저장하고 있다”면서, “이를 위해 수학의 확률론적인 개념도 적용했다”고 설명했다.

이번 AWS가 새롭게 공개한 스토리지 서비스와 기능은 총 4가지로 ▲아마존 S3 글래시어 인스턴트 리트리벌(Amazon S3 Glacier Instant Retrieval) ▲오픈ZFS를 위한 아마존 FSx(Amazon FSx for OpenZFS) ▲아마존 EBS 스냅샷 아카이브 (Amazon EBS Snapshots Archive) ▲아마존 S3(Amazon S3) 및 VM웨어 워크로드에 아마존 백업(AWS Backup) 지원 등이다.

‘아마존 S3 글래시어 인스턴트 리트리벌’ 서비스는 클라우드에서 아카이브된 데이터를 밀리초 단위로 검색할 수 있는 기능을 비용 효율적으로 제공하는 스토리지 서비스다. 장기간 저장되고 접근 빈도는 낮지만, 요청 시 즉시 검색이 필요한 데이터에 대해 클라우드 상에서 가장 비용 효율적으로 스토리지를 확보할 수 있는 서비스다.

이 서비스를 사용할 경우 ‘아마존 S3 스탠다드-IA’에서 ‘아마존 S3 글래시어 인스턴트’ 회수로 전환할 경우, 1년에 수 회 정도만 접근되는 데이터에 대한 비용을 최대 70%까지 절감할 수 있다. 아울러 ‘S3 스탠다드-IA’와 동일한 대기 시간과 높은 처리량을 아카이브 스토리지에 대해 가장 낮은 비용으로 제공할 수 있다.

‘오픈ZFS를 위한 아마존 FSx’ 서비스는 애플리케이션 코드나 데이터 관리 방식에 대한 변경 없이, 온프레미스 파일 서버에 저장된 데이터를 AWS로 간편하게 이전 가능하다. 특히 AWS에서 완전 관리형 파일 시스템을 시작, 실행 및 확장하고 온프레미스에서 운영되는 상용 기성 서버를 교체함으로써 민첩성, 보안 및 비용을 개선할 수 있다. 이 서비스는 ‘AWS 그래비톤(Graviton)’ 프로세서와 최신 AWS 디스크 및 네트워킹 기술로 구동되며, 수백 마이크로초의 대기 시간으로 최대 100만 IOPS 제공한다.

‘아마존 EBS 스냅샷 아카이브’ 서비스는 스냅샷 보관 비용 및 복잡성 문제를 해결하기 위해 기업 고객이 몇 달 또는 몇 년 동안 보관이 필요한 비용을 최대 75%까지 절감할 수 있는 새로운 스토리지 계층을 제공하는 서비스다. 이 서비스는 단일 API를 통해 ‘EBS 스냅샷 아카이브’로 스냅샷을 이동하고, 다른 아마존 EBS 스냅샷과 함께 가시성을 유지하는 동시에 아카이브 스냅샷 비용을 절감할 수 있다.

한편, 윤석찬 AWS 테크에반젤리스트는 ‘리인벤트 2021’ 2일차가 종료된 후 진행되는 미디어 브리핑을 통해 “AWS는 전력 효율성을 높이고 탄소 배출을 줄이기 위해 2025년까지 재생 에너지를 100% 활용하겠다”고 강조했다.
한편, 윤석찬 AWS 테크에반젤리스트는 ‘리인벤트 2021’ 2일차가 종료된 후 진행되는 미디어 브리핑을 통해 “AWS는 전력 효율성을 높이고 탄소 배출을 줄이기 위해 2025년까지 재생 에너지를 100% 활용하겠다”고 강조했다.

마지막으로 ‘아마존 S3’ 및 VM웨어 워크로드에 ‘아마존 백업(AWS Backup)’을 지원하는 기능이 추가됐다. ‘아마존 S3’ 및 ‘VM웨어 워크로드’에 대한 중앙 집중식 데이터 보호 및 자동화된 규정 준수 감사를 제공해 아마존 백업의 기능을 폭넓은 클라우드 및 온프레미스 워크로드로 확장할 수 있다.

특히, ‘아마존 S3’에 AWS 백업이 지원돼 기업 고객은 전체 애플리케이션 백업의 중앙 관리에 활용되는 복잡한 사용자 지정 스크립트를 교체할 수 있다. 또한, ‘S3’에 저장된 데이터 구문을 분석해 AWS 백업의 특정 시점 복원 기능으로 대체해 복원 시간을 초 단위까지 지정할 수 있다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지