[2020 데이터 컨퍼런스⑫] 차세대 데이터 플랫폼 전략 ‘데이터 패브릭’

[아이티데일리] 트랙2의 세 번째 발표는 오전 두 번째 키노트를 했던 안현주 데이터스트림즈 본부장이 다시 연단에 올라 “차세대 데이터 플랫폼 전략 ‘데이터 패브릭’”을 주제로 진행했다.

안현주 본부장은 가트너의 2020년 데이터 매니지먼트 하이프사이클 자료를 인용, 우선 하둡 기반의 데이터 레이크 관련 시장이 2006년경 등장 이후 현재까지 폭발적인 성장을 보이며 안정기에 접어들었다고 설명했다. 그리고 여기에 데이터 거버넌스 기반의 데이터 통합 플랫폼인 ‘데이터 패브릭(Data Fabric)’이 차세대로서 현재 하이프사이클의 정점에 위치해 있으며, 중요성이 강조되고 있다고 설명했다.

안현주 본부장은 “데이터 레이크에 축적한 데이터들은 용처가 불확실한 데이터 잔해(Data Exhaust, 핵심적이지 않은 빅데이터)일 가능성이 높아, 데이터 거버넌스의 중요성이 재조명되고 있다”면서, “현업에서 데이터가 부족하고, 있는 데이터도 사용할 수 없다는 이야기를 많이 하는데 모두 데이터 거버넌스가 부족하기 때문이다. 이에 최근 기업들은 CDO(최고 데이터 관리자) 등 빅데이터 관점의 데이터 거버넌스를 수립하는 조직 역량을 확충하고 있다. 또한 데이터 저장의 우선순위와 수명주기, 보관 방식, 폐기 등에 대한 기준을 재정의할 필요가 있으며 하둡에서의 관계형 데이터 처리가 복잡하다는 문제도 있다. 이런 문제들은 데이터 레이크 만으로는 해결이 어렵다”고 말했다.

이러한 문제와 관련해 데이터스트림즈가 강조하는 ‘데이터 패브릭’은 데이터 거버넌스를 기반으로 데이터 활용성을 제고하고 비즈니스 가치 창출을 강화하기 위한 ‘데이터 플랫폼의 새로운 디자인 콘셉트이자 아키텍처 전략’이라고 요약 정리됐다. 즉, 빅데이터 시장이 성숙함에 따라 데이터의 품질 관리가 중요 이슈로 부각했고, 일관된 데이터 관리체계 아래에 양질의 데이터를 이기종 데이터 소스에 상관없이 활용할 수 있는 ‘빅데이터 패브릭’이 각광받고 있으며, 여기에는 ▲데이터 거버넌스 ▲데이터 통합 저장소 ▲데이터 가상화 등 3가지가 핵심 요소라는 설명이다.

데이터스트림즈는 ‘이루다(IRUDA)’라는 데이터 거버넌스 솔루션 전반을 갖고 사업을 해왔고, 빅데이터 통합 저장소인 ‘테라원(TeraONE)’과 데이터 가상화 솔루션 ‘테라원 슈퍼쿼리(TeraONE Super Query)’ 등까지 ‘데이터 패브릭’에 필요한 제품 라인업을 갖추고 있으며, ‘테라원 패브릭(TeraONE Fabric)’이라는 전략 솔루션으로 선보이고 있다.

안현주 본부장은 “데이터스트림즈의 빅데이터 플랫폼은 수집 기능의 경우 대부분 자체 제작 소스이며, RDB나 하둡에 동시 적재할 수 있는 역량도 갖추고 있다. 메타데이터 관리, 데이터 품질 관리, 데이터 흐름 관리, 기준정보 관리 등의 솔루션을 엔진레벨에서 보유하고 있고 지금은 사용자들이 빅데이터 시대에 맞게 관련 기능 세트를 찾아 쓰기 쉽도록 AI 기반의 데이터 카탈로그 서비스 연구를 하고 있다”고 덧붙였다.