[아이티데일리] 오늘날 전 세계 모든 기업들은 데이터 중심적인(data driven) 비즈니스 프로세스를 구축하는 것을 중요한 목표로 삼고 있다. 업계를 가리지 않고 폭발적으로 증가하고 있는 데이터들을 효과적으로 수집하고 이를 비즈니스에 활용하고자 하는 것은 모든 기업들이 당면하고 있는 목표다. 유통업계의 경우 고객을 이해하고 더 다양한 서비스를 제공하기 위해 온라인·오프라인을 가리지 않고 민첩하게 고객 데이터를 확보해 분석하고 있으며, 금융업계에서는 사기 행위 등을 탐지하고 막아내기 위해 실시간으로 수많은 데이터들을 확인해야만 한다.

이러한 문제는 비단 새롭게 생성되는 데이터에 대해서만 일어나는 것은 아니다. 오랜 역사를 가지고 있는 기업들은 그동안 축적된 데이터에서 새로운 인사이트를 찾을 수는 없는지 끊임없이 탐구하고 있으며, 그동안 역량 부족으로 분석할 수 없었던 데이터들을 활용하기 위해 머신러닝이나 인공지능(AI)과 같은 최신 기술을 도입하고 있다.

이에 본지에서는 글로벌 DBMS 벤더들을 중심으로 효과적인 데이터 저장에 대한 취재를 진행해, 데이터 중심적인 비즈니스 프로세스 구축을 지원하기 위한 벤더들의 전략에 대해 들어봤다.

< 마이크로소프트 >
단일한 플랫폼 상에서 모든 데이터 서비스 제공
많은 기업들이 폭발적으로 늘어나는 데이터를 기업 내 여러 조직에서 활용하고, 다양한 분석 도구가 원활히 접근할 수 있는 대규모 저장소를 갖추기 위해 데이터 레이크 도입을 검토하고 있다. 마이크로소프트(MS)는 특히 그동안 대량의 데이터를 누적해온 공공기관 등지에서 데이터 기반의 대국민 서비스를 만들기 위해 데이터 레이크 도입을 검토하는 경우가 많다고 설명했다.

기업이 최적의 데이터 레이크 환경을 구축하기 위해서는 대용량 스케일 확장, 최적화된 성능 유지, 데이터 분석 도구의 종류에 관계없이 접근 가능한 멀티모델 API 등이 제공되는지 검토해야 한다. 데이터 레이크는 단일화된 데이터 저장소에서 모든 사용자와 서비스를 지원하므로, 도입 이전에 충분한 검토가 선행돼야 한다. 또한 분석가와 같은 데이터 소비자들이 원활하게 필요한 데이터에 접근하면서도, 각자의 권한을 세세하게 설정해 보안 사고를 방지할 수 있는 보안 기능이 탑재돼야 한다.

이러한 데이터 레이크 환경을 성공적으로 구축할 수 있다면 데이터 수집·탐색·전처리·모델링·대시보드 구축까지 모두 단일한 저장소에서 진행하므로, 기업은 복수의 데이터 저장소를 마련하는 등 복잡한 시스템을 갖추지 않고 성공적인 데이터 중앙화를 달성할 수 있다.

MS는 자사 클라우드 서비스 ‘애저(MS Azure)’를 통해 수집·저장·분석 등 데이터와 관련된 모든 것들을 단일한 플랫폼 상에서 지원하고 있다. 현재 ‘애저’ 상에서 제공되고 있는 데이터 관련 서비스들은 약 30여 가지로, 기업의 데이터 전략 및 AI 기반의 활용 시나리오에 따라 각각의 서비스들을 탄력적으로 조립해 서비스를 설계할 수 있다.

가령 ‘애저 데이터 레이크 스토리지(Azure Data Lake Storage)’는 확장성이 뛰어나고 비용효율적인 데이터 레이크 구축을 지원한다. ‘애저 데이터 레이크 스토리지’는 고성능 파일 시스템이 가진 기능들과 ‘애저 블롭 스토리지(Azure Blob Storage)’의 기능을 활용해 데이터를 분석하고 인사이트를 만들어내는 과정을 최적화하며, ‘파워 BI(Power BI)’와 같은 분석용 애플리케이션과 원활한 데이터 교환이 가능하도록 CDM(Common Data Model)을 제공한다.

이외에도 전통적인 RDBMS를 위한 ‘SQL DB’, 데이터 저장소의 효과적인 활용을 위한 ‘SQL DW’ 등을 사용할 수 있다. 특히 최근 각광받고 있는 ‘애저 데이터브릭(Azure Databricks)’ 서비스의 경우, DW 기반의 실시간 분석이나 고급 분석 등 다양한 환경에서 빠른 속도로 데이터 전처리나 모델링, 트레이닝 등을 수행할 수 있다.

한편 최근 기업들은 단일한 데이터 레이크 이외에도 다양한 DBMS를 선택적으로 활용하는 복수의 데이터 저장소 전략을 취하는 경우가 늘고 있다. 전통적인 RDBMS는 물론, ‘몽고DB(MongoDB)’나 ‘카산드라(Cassandra)’, 혹은 그래프DB(GraphDB)와 같은 NoSQL DBMS도 활용 영역을 넓혀가고 있다. 이러한 데이터 저장소를 활용하는 기업들은 문서나 이미지, 영상과 같은 비정형 데이터들을 다양하게 사용하고 있어 분류나 정제 작업이 큰 부담으로 작용한다.

이를 위해 MS는 복잡하고 다양한 양식의 데이터 가운에 필요한 정보를 빠르고 정확하게 찾아낼 수 있는 지식 마이닝(Knowledge Mining)을 지원한다. ‘애저 코그너티브(Azure Cognitive)’ 서비스는 다양한 문자·음성·이미지·영상 등에 대한 인지기능을 활용해 데이터에 대한 정보를 분석하며, ‘애저 서치(Azure Search)’ 서비스와 연동돼 사용자에게 필요한 정보를 전달한다. MS가 제공하는 지식 마이닝 기술을 통해 사용자는 ‘애저’ 상에서 정형·비정형을 가리지 않고 원하는 데이터를 찾아낼 수 있다.

< 구축사례 > LG전자 디지털 사이니지 시스템 구축 디지털 사이니지는 서비스가 종료될 때까지 항상 문제없이 켜져있어야 한다. 디지털 사이니지 디스플레이의 평균적은 보증기간은 30,000~50,000 시간이며, 약 5년 정도는 중단없이 작동할 수 있어야 한다는 것을 의미한다. 따라서 디지털 사이니지 디스플레이에서 가장 중요한 것은 가용성이며 이를 위해 항상 사용 현황을 모니터링하고 관리할 수 있어야 한다. LG전자는 ‘MS 애저’ 상에서 국내외 디지털 사이니지 시스템을 구축했다. 해당 시스템은 디스플레이에 장착된 IoT 센서로 과열이나 메모리 부족과 같은 상태를 모니터링한다. 실시간으로 생성되는 센서 데이터는 ‘MS 애저’ 상에서 즉시 수집 및 분석되며, 관리 효율을 높이기 위해 클라우드 기반의 ‘애저 SQL 데이터 웨어하우스’를 사용하고 있다. 특히 ‘MS 애저’가 제공하는 쉽고 간단한 개발환경을 활용해 예상보다 서비스 개발 기간을 2개월 단축하고, 비용 역시 20% 가량 절약했다. 이러한 모니터링 현황은 직관적으로 구현된 대시보드에서 확인할 수 있다. 관리자는 녹색·황색·적색으로 구분되는 모든 디스플레이의 상태를 확인하고 필요에 따라 각 장치에 필요한 조치를 취할 수 있다. 이를 통해 물리적인 해결이 필요한 경우를 제외하고 대부분의 경우 사전에 문제 발생 여부를 예측하고 원격으로 해결함으로써 서비스 중단을 방지한다. ‘MS 애저’가 제공하는 원격 관리 시스템을 활용해 현장 지원을 없앰으로써, 디스플레이 수명이 다할 때까지 현장에 재방문하지 않게 됐다.