[아이티데일리] 본지(컴퓨터월드/IT DAILY)가 지난달 16일 양재동 엘타워에서 ‘제19회 2022 데이터 컨퍼런스’를 개최했다. 이날 행사는 ‘AI & 빅데이터, 로우코드’라는 주제로, 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하는 자리로 마련됐다. 각계 전문가와 기업들이 산업별 성공사례와 관련 기술, 솔루션 정보 등을 소개하며 성공적인 데이터 전략의 인사이트를 공유했다.

최근 데이터 분야에서는 빠르게 변화하는 산업계의 흐름에 맞춰 폭발적으로 증가하는 데이터에서 핵심적인 인사이트를 민첩하게 찾아야 한다는 요구가 높아지고 있다. 하지만 클라우드가 기업의 핵심 인프라로 자리잡고 MSA(Micro Service Architecture)가 대세가 되면서, 데이터 저장소들의 사일로(silo)화와 같은 전통적인 문제들이 여전히 기업의 IT 담당자들을 괴롭히고 있다.

이번 ‘제19회 2022 데이터 컨퍼런스’는 조직 내 데이터 관리 역량을 기초부터 재점검할 수 있는 새로운 데이터 전략을 함께 고민하고, 데이터로부터 가치를 창출해낼 수 있는 데이터 리터러시(Data Literacy)를 확보하기 위한 방법을 제시하기 위해 마련됐다. 또한 로우코드와 프로세스 마이닝, 실시간 이벤트 스트리밍 등 새로운 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

모던 데이터-드리븐 엔터프라이즈: 논리적 접근 전략

두 번째 세션은 ‘모던 데이터-드리븐 엔터프라이즈(Modern Data-Driven Enterprise): 논리적 접근 전략’이라는 주제로 한국디노도 김세준 상무가 연단에 올랐다. 김세준 상무는 먼저 “그동안 데이터 웨어하우스나 데이터 레이크를 구축했던 기업들은 이미 데이터 관리에 한계를 느끼고 있다”면서, 기존의 물리적인 데이터 저장소를 활용하는 전략을 벗어나, 데이터를 논리적으로 통합하고 분석하는 새로운 전략이 필요하다고 강조했다.

오늘날 기업의 IT 시스템들은 서로 복잡하게 얽혀있다. 대다수 기업들은 한정된 데이터 인프라에서 여러 가지 요구사항을 해결해야 했고, 그때마다 필요한 인프라를 새롭게 만들어 넣다보니 스파게티처럼 복잡하게 얽혀있는 구조가 됐다. 이러한 인프라 위에서는 데이터의 흐름 관리가 제대로 이뤄질 수 없으며, 비즈니스에도 나쁜 영향을 미친다. 이러한 문제를 단지 몇 명의 데이터 엔지니어가 해결하는 것은 불가능하다.

디노도가 150개 글로벌 기업들을 대상으로 조사한 결과, 기업 중 55%가 5개 이상의 데이터 소스를 보유하고 있다고 답했다. 20개 이상의 데이터 소스를 보유한 기업도 14%에 달한다. 데이터 소스가 빠르게 증가하고 관리해야 하는 데이터의 종류도 늘어나고 있어, 데이터 인프라의 복잡성은 점점 더 심각한 문제가 될 것이다. 실제로 62%의 기업들은 자사의 데이터 중 절반 이상에 접근할 수 없거나 분석이 불가능하다고 답했다.

김세준 상무는 “모놀리식(monolithic) 아키텍처는 유지하는 데에 시간과 비용이 많이 들고 새로운 시스템들과의 호환성이 부족하다. 반면 MSA를 위해 분산된 데이터 아키텍처 역시 한계가 분명한데, 산발적으로 구축된 데이터 저장소들이 파편화되고 사일로(silo)화되면서 필요한 시점에 제대로 데이터를 공급하지 못하고 있다. 비용과 품질관리라는 문제 또한 그대로 가지고 있다”면서, “데이터 주도적인(data-driven) 비즈니스를 도모하는 기업은 보다 현대적인 데이터 패브릭 인프라를 마련해야 한다”고 강조했다.

김세준 상무는 “데이터 가상화를 통한 논리적인(logical) 연결은 조직이 보유한 모든 데이터에 제한없이 접근해 소비할 수 있도록 만들고, 물리적인 스키마 관리의 제약에서 데이터를 해방시킨다”면서, “디노도는 전 세계적으로 1,000개 이상의 고객사를 보유하고 있으며, 이들은 평균적으로 데이터 준비(data preparation)에 소요되는 시간을 67% 단축하고 데이터 전달(delivery) 시간은 ETL 대비 65% 줄일 수 있었다. 논리적으로 연결된 데이터 인프라는 미래의 혁신을 추구하는 기업들에게 필수로 자리잡을 것”이라고 말했다.