[아이티데일리] 전 산업계의 핵심 동력이 데이터를 중심으로 재편되고 있다. 특히 챗GPT(ChatGPT)의 등장 이후, 데이터 학습의 결정체인 생성형 AI가 전 세계의 뜨거운 감자로 부상했다. 수많은 데이터를 학습하고 이를 토대로 결과물을 생성하는 생성형 AI를 구현하기 위해 데이터의 수집부터 저장, 학습, 거버넌스 정립 등 제반을 다지는 작업이 더욱 중요한 과제로 떠올랐다.

본지(컴퓨터월드/아이티데일리)는 지난달 7일 서울 양재동 엘타워에서 각계 데이터 전문가 및 국내 대표 기업들과 함께 생성형 AI를 둘러싼 주요 이슈에 관한 해답과 데이터 활용 전략을 제시해 보고자 ‘생성형 AI & 빅데이터’를 주제로 ‘제20회 2023 데이터 컨퍼런스’를 개최했다. 데이터 인사이트와 핵심 전략이 공유된 이번 컨퍼런스 내용을 정리했다.

“디지털 전환을 위한 데이터 패브릭 전략”

데이터스트림즈 김현철 전무는 ‘디지털 전환을 위한 데이터 패브릭 전략’을 주제로 발표했다.

김현철 전무에 따르면, 최근 기업들은 데이터 웨어하우스(DW), 데이터 레이크(DL) 등 여러 시스템을 구축해 축적한 데이터는 많아졌지만, 데이터 분산 및 사일로화와 같은 문제들로 인해 실질적인 데이터 자원 관리와 활용에는 어려움을 겪고 있다. 이에 대한 해결책으로 ‘데이터 패브릭(Data Fabric)’이 주목받고 있다.

데이터 패브릭은 여러 시스템에 분산된 이기종 간의 데이터를 하나의 단일 가상화 시스템으로 통합해, 흩어져 있는 데이터에 대한 액세스와 관리를 단순화할 수 있는 기술이다. 이를 활용해 데이터 레이크와 클라우드에 저장된 데이터, 나아가 비정형 데이터까지 가공·처리할 수 있다.

이에 대해 김현철 전무는 “데이터 패브릭 구현에 앞서, 거버넌스 구축과 데이터 표준화 작업이 우선적으로 이뤄져야 한다. 수많은 설비와 디바이스에서 생성되는 데이터를 어떻게 모을 것이며, 데이터 수집의 우선순위와 생명주기까지 모든 과정이 거버넌스 차원으로 정의가 돼야 한다”고 당부했다. 데이터 거버넌스와 메타데이터를 통해 분산된 모든 데이터가 정형화돼야, 데이터 패브릭과 함께 유의미한 데이터 분석 및 활용이 가능하다는 설명이다.

데이터스트림즈는 데이터 패브릭 아키텍처 ‘테라원(TeraONE)’을 서비스하고 있다. 자사의 ‘이루다(IRUDA)’ 솔루션을 바탕으로 데이터 거버넌스를 전체적으로 통합하며, 데이터 패브릭 플랫폼인 ‘테라원 슈퍼쿼리(TeraONE SuperQuery)’를 활용해 다중 DB 가상화와 데이터 분석 기능을 제공한다. 데이터스트림즈는 테라원 슈퍼쿼리를 기반으로 공공 보험 정책수립을 위한 재정추계 분석 및 요율 시뮬레이션의 데이터 패브릭 구축 사업에 참여한 바 있다. 또한 금융권 생보사의 빅데이터 플랫폼 구축 및 서비스 개발과 AI 분석 환경 마련을 위한 데이터 패브릭을 구축한 사례도 있다.