[아이티데일리] 두 번째 세션에서는 하상윤 티맥스BI 실장이 ‘셀프서비스 BI를 위한 빅데이터 분석 자동화와 데이터 활용’에 대해 발표했다.

최근 몇 년간 데이터 분석에 대한 수요는 지속적으로 증가해왔지만, 해당 업무를 수행할 수 있는 데이터 전문가의 숫자는 턱없이 부족한 상황이다. 따라서 앞으로는 비전문가도 빅데이터를 손쉽게 분석할 수 있는 엔드 유저 컴퓨팅(End User Computing) 체계가 마련돼야 한다는 설명이다.

하상윤 실장은 기존의 전통적인 빅데이터 플랫폼들이 데이터의 수집과 저장에만 포커스를 맞추고 있다고 설명했다. 하둡 파일 시스템(HDFS)은 원시적인 빅데이터 플랫폼을 만들기 위해 만들어졌고, 정형 데이터와 비정형 데이터를 구분해 모든 데이터를 수집하고 저장하는 데에 성공했다. 하지만 수집과 저장에 집중한 전통적 플랫폼들은 데이터의 유통과 활용이 강조되는 오늘날과는 맞지 않는다. HDFS는 여기저기에 산발적으로 적재돼 있는 데이터들을 분류하고 한 곳에 쌓아놓는 엔지니어링 관점에서 개발된 솔루션이며, 데이터를 분석하고 시각화해 인사이트를 만들고자 하는 현업의 요구와는 동떨어져 있다는 것이다.

또한 다양한 빅데이터 관리/분석 수요를 해결하기 위해 하둡 에코시스템은 지속적으로 확장돼 왔고, 이에 따라 너무 다양하고 복잡한 생태계를 갖추게 돼 접근성이 떨어지는 결과를 낳았다. 직접 하둡을 활용해 빅데이터 플랫폼을 구축하고자 하면 클라우드에 대한 이해도 있어야 하고 오픈소스에 대해서도 잘 알아야 하며, 서로 다른 기술 세트 간의 인터페이스 연계 등 너무 다양한 분야의 지식을 갖추고 있어야 한다. IT 전문가가 부족한 대다수 중소기업·스타트업에서는 사실상 하둡으로 직접 빅데이터 플랫폼을 구성해 운용하는 것은 불가능에 가깝다.

이에 티맥스BI는 비전문가도 손쉽게 빅데이터 플랫폼을 구축하고 머신러닝 기반의 데이터 분석이 가능한 자동화된 머신러닝 플랫폼이 필요하다는 목표를 세웠다. 사용자가 복잡한 로직을 생각하지 않고도 표준화된 SQL 쿼리를 사용해 데이터를 가상화시키고 수집·저장·분석이 가능해야 한다는 것이다. 이를 위해서는 ▲오픈소스 및 서드파티와 원활한 연계가 가능한 오픈 아키텍처로 구성돼야 하고 ▲현업 조직의 요구에 맞춰 복잡한 데이터 라이프 사이클 관리 과정을 통합한 단일 플랫폼이어야 하며 ▲다양한 AI 라이브러리를 내재화해 손쉬운 분석이 가능해야 한다.

‘하이퍼데이터(HyperData)’는 이와 같은 티맥스BI의 개발 이념으로 탄생한 머신러닝 기반의 편리한 빅데이터 분석 플랫폼이다. 원하는 오픈소스나 서드파티 솔루션들을 블록을 조립하는 것처럼 자유롭게 탑재할 수 있으며, 사용자의 업무 패턴이나 데이터의 특성을 고려해 분석 모델을 자동으로 추천함으로써 직관적인 분석이 가능하도록 한다.

하상윤 실장은 “‘하이퍼데이터’는 데이터 분석과 얽힌 복잡한 문제와 상황들을 손쉽게 풀어내기 위해 사용자의 편의성을 최우선으로 고려해 개발된 플랫폼”이라며, “GUI 기반의 분석 프로세스 설계는 물론, 스스로 학습하고 결과를 설명하는 자동화된 머신러닝 분석 플랫폼이기에 IT 비전문가도 손쉽게 데이터를 확보하고 분석을 수행할 수 있다”고 설명했다.