[아이티데일리] 본지(컴퓨터월드/IT DAILY)가 지난달 16일 양재동 엘타워에서 ‘제19회 2022 데이터 컨퍼런스’를 개최했다. 이날 행사는 ‘AI & 빅데이터, 로우코드’라는 주제로, 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하는 자리로 마련됐다. 각계 전문가와 기업들이 산업별 성공사례와 관련 기술, 솔루션 정보 등을 소개하며 성공적인 데이터 전략의 인사이트를 공유했다.

최근 데이터 분야에서는 빠르게 변화하는 산업계의 흐름에 맞춰 폭발적으로 증가하는 데이터에서 핵심적인 인사이트를 민첩하게 찾아야 한다는 요구가 높아지고 있다. 하지만 클라우드가 기업의 핵심 인프라로 자리잡고 MSA(Micro Service Architecture)가 대세가 되면서, 데이터 저장소들의 사일로(silo)화와 같은 전통적인 문제들이 여전히 기업의 IT 담당자들을 괴롭히고 있다.

이번 ‘제19회 2022 데이터 컨퍼런스’는 조직 내 데이터 관리 역량을 기초부터 재점검할 수 있는 새로운 데이터 전략을 함께 고민하고, 데이터로부터 가치를 창출해낼 수 있는 데이터 리터러시(Data Literacy)를 확보하기 위한 방법을 제시하기 위해 마련됐다. 또한 로우코드와 프로세스 마이닝, 실시간 이벤트 스트리밍 등 새로운 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

데이터 기반 비즈니스를 위한 통합 데이터 플랫폼

오전 세 번째 세션은 한국마이크로포커스/버티카 윤찬호 부장이 맡았다. 윤찬호 부장은 ‘데이터 기반 비즈니스를 위한 통합 데이터 플랫폼(Building a unified data platform for data-driven businesses)’이라는 주제로, 버티카가 기업의 데이터 인프라 혁신을 지원하기 위해 데이터 레이크하우스 기술과 플랫폼을 활용하는 방법에 대해 소개했다.

오늘날 대다수 기업들의 데이터 인프라는 데이터 웨어하우스(DW)와 데이터 레이크로 구성돼있다. 기업들은 기술 기반이 완전히 다른 두 가지 데이터 인프라를 운영하면서 많은 문제를 겪는다. 데이터를 이원화해서 관리하다보니 데이터의 중복 저장으로 인해 비용이 크게 증가하고, 실시간 동기화나 품질 이슈도 발생한다. 운영의 복잡성을 차치한다고 하더라도 데이터 기반 비즈니스에 많은 걸림돌로 작용한다.

그럼에도 불구하고 기업들은 DW와 데이터 레이크를 사용할 수 밖에 없는 상황이다. 서로 장점과 단점이 뚜렷하기 때문에 어느 한 쪽이 다른 쪽을 완전히 대체할 수 없기 때문이다. 이러한 문제를 해결하기 위해서는 DW와 데이터 레이크의 장점을 결합한 데이터 레이크하우스 기술을 활용해야 한다.

데이터 레이크하우스는 비용효율적이고 확장이 쉬운 데이터 레이크를 깔아놓고, 그 위에 복잡한 데이터 작업을 처리할 수 있는 DW를 연결해 운영한다. 이를 통해 운영 비용을 효율화하면서도 방대한 데이터 스토리지를 확보할 수 있고, DW 기반의 강력한 엔터프라이즈 분석과 보안 기능들도 사용 가능하다. 데이터 아키텍처를 통합하면서 관리 측면에서도 효과적이라는 장점이 있다.

윤찬호 부장은 “버티카는 DW로 시작해 데이터 레이크하우스로 성공적으로 진화를 이끌어냈다. 컴퓨팅과 스토리지 분리를 통해 효율적인 운영과 민첩한 확장이 가능한 것은 물론, 오브젝트 스토리지를 활용해 비용을 최적화하면서 최고 수준의 가용성을 제공한다”고 강조하며, “데이터 레이크하우스 플랫폼을 제공하는 대다수 기업들이 퍼블릭 클라우드 환경에서 SaaS 형태로만 서비스하는 반면, 버티카는 온프레미스 환경과 프라이빗 클라우드까지 지원할 수 있다는 점에서 차별화된다”고 덧붙였다.