[아이티데일리] 본지(컴퓨터월드/IT DAILY)가 지난달 16일 양재동 엘타워에서 ‘제19회 2022 데이터 컨퍼런스’를 개최했다. 이날 행사는 ‘AI & 빅데이터, 로우코드’라는 주제로, 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하는 자리로 마련됐다. 각계 전문가와 기업들이 산업별 성공사례와 관련 기술, 솔루션 정보 등을 소개하며 성공적인 데이터 전략의 인사이트를 공유했다.

최근 데이터 분야에서는 빠르게 변화하는 산업계의 흐름에 맞춰 폭발적으로 증가하는 데이터에서 핵심적인 인사이트를 민첩하게 찾아야 한다는 요구가 높아지고 있다. 하지만 클라우드가 기업의 핵심 인프라로 자리잡고 MSA(Micro Service Architecture)가 대세가 되면서, 데이터 저장소들의 사일로(silo)화와 같은 전통적인 문제들이 여전히 기업의 IT 담당자들을 괴롭히고 있다.

이번 ‘제19회 2022 데이터 컨퍼런스’는 조직 내 데이터 관리 역량을 기초부터 재점검할 수 있는 새로운 데이터 전략을 함께 고민하고, 데이터로부터 가치를 창출해낼 수 있는 데이터 리터러시(Data Literacy)를 확보하기 위한 방법을 제시하기 위해 마련됐다. 또한 로우코드와 프로세스 마이닝, 실시간 이벤트 스트리밍 등 새로운 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

모던 데이터 아키텍처, 데이터 패브릭 기반 빅데이터 플랫폼 구현전략

오전 마지막 세션은 ‘모던 데이터 아키텍처, 데이터 패브릭(Modern Data Architecture, Data Fabric) 기반 빅데이터 플랫폼 구현전략’이라는 주제로, 데이터스트림즈 나희동 제품사업본부장이 연단에 올랐다. 나희동 본부장은 지난 2021년 미국 롱비치 항구 앞에 100대 이상의 선박이 몰려 수십만 개의 컨테이너가 기약없이 하역 순서를 기다려야 했던 사건을 언급하며, “이제 우리는 기존의 방법으로는 미래를 예측할 수 없다”고 단언했다.

EDW(Enterprise Data Warehouse)와 같은 전통적인 데이터 아키텍처는 거대한 중앙집중형 데이터 스토리지와 여러 개의 데이터 마트로 구성된다. 하지만 클라우드 도입이 확산되고 MSA(Micro Service Architecture)가 자리잡으면서 각각의 마이크로 서비스마다 별개의 DB를 갖추고자 하는 요구가 생겼다. 데이터 담당자는 이렇게 만들어지는 각각의 DB가 사일로화되고 전사적인 데이터 가시성이 사라지는 모습을 쉽게 상상할 수 있다.

나희동 전무는 “우리는 지난 30년 동안 ‘이렇게 데이터를 모아놓으면 언젠가 쓰겠지’라는 생각을 가지고 있었다. 하지만 이제는 데이터의 양이 너무나 방대해졌고, 이것들을 단순히 모아놓는 것 만으로는 가치가 생겨나지 않는다는 것을 알게 됐다”면서, “결국 쌓아놓은 데이터를 활용할 수 있는 방법을 생각하지 않으면 기업들이 원하는 데이터가 주도하는 혁신(data-driven innovation)은 요원하기만 하다”고 말했다.

특히 우리나라는 오랫동안 공공기관과 기업 모두 차세대 프로젝트를 통한 빅뱅 형식의 시스템 개선을 지속해왔다. 그러다보니 중심을 잡는 센트럴DB와 여러 개의 데이터 마트로 구성된 데이터 아키텍처가 수십년 동안 대세를 차지해왔다. 하지만 SOA와 MSA가 나오면서 IT 시스템이 서비스 중심으로 옮겨가고, 개별 서비스마다 별개의 DB를 구성하게 되자 더 이상 관리가 불가능한 상황에 이르렀다.

나희동 본부장은 이에 대해 “MSA와 같은 서비스 중심의 아키텍처에 대응하는 가장 좋은 방법은 핵심 도메인들을 중심으로 데이터 라이프사이클을 구성하고, 도메인 단위의 팀이 주도권(ownership)을 가지고 데이터 상품(product)을 만들어 공유하도록 하는 것”이라고 설명하고, “복잡한 비즈니스 구조를 가지고 있는 기업들은 전사 데이터를 하나의 데이터 스택으로 관리할 수 없다. 도메인 별로 별개의 데이터 스택을 만들어 관리하고, 이들을 논리적(logical)으로 연결해 밸류체인을 만드는 것, 이것이 데이터 메시, 데이터 패브릭 등 현대적인 데이터 아키텍처들이 지향하는 것”이라고 강조했다.