[아이티데일리] 다가오는 연말을 앞두고 데이터 책임자들은 올 한 해를 되돌아보며 데이터 관리 전략을 살펴보고, 더 나은 방향으로 전략을 재정립해야 하는 과제와 마주하고 있다. 한 가지 분명한 것은 2024년에는 데이터 관리의 특정 영역이 데이터 중심 기업의 성공 여부를 좌우하는 중요한 요소가 될 것이라는 점이다.

2024년에도 데이터 분산화는 계속될 것이다. 따라서 엔터프라이즈 데이터 관리를 위해서는 여러 곳에 흩어진 데이터에 대하여 단일 뷰를 확보하는 것이 중요하다. 사용자들은 비즈니스 IT 의존도를 낮추고, 조직의 데이터 및 분석 여정에 적극적으로 참여하기를 원한다. 이들은 데이터 프로덕트를 정의하여 생성하고, 도메인 요구에 따라 데이터를 관리하고 싶어한다. IT 부서에서는 적절한 인프라를 제공해 비즈니스 사용자가 더 자급자족할 수 있도록 해야 한다. 2024년 데이터 주도 기업으로 발돋움하기 위해 기억해야 할 데이터 관리 시장의 트렌드 세 가지를 소개한다.

1. 분산된 데이터 환경에 따른 데이터 반중력(Data Anti-Gravity) 현상 확산

데이터가 지속적으로 분산됨에 따라 대규모 데이터 세트가 애플리케이션, 서비스를 끌어들여 데이터가 특정 위치에 계속 생성되는 ‘데이터 중력(Data Gravity)’의 개념이 점차 희미해지고 있다. 오늘날 현대적인 데이터 전략을 갖춘 기업은 다양한 비즈니스 요구사항을 충족하고 데이터 사일로 현상을 해결하기 위해 일반적으로 데이터 웨어하우스와 데이터 레이크를 운영하고 있다.

하지만 데이터 웨어하우스와 데이터 레이크는 보통 온프레미스와 클라우드 환경에 걸쳐 있거나 지리적으로 분산돼 있다. 클라우드 서비스 제공사(CSP)가 기업의 데이터와 분석 문제를 자체적으로 해결할 수 있도록 많은 노력을 기울이고 있지만, 대부분의 기업은 멀티 클라우드 환경에서 여러 CSP의 제품과 서비스를 필요에 따라 활용하며 데이터를 운영하고 분석하고 있다. 단일 CSP, 단일 클라우드 데이터 웨어하우스나 데이터 레이크에 의존해 모든 데이터 및 분석 요구사항을 충족하는 것이 점점 더 어려워질 것이다.

이러한 데이터 환경의 변화에 따라 2024년에는 데이터 반중력(data anti-gravity)이라는 새로운 개념에 주목해야 한다. 데이터 반중력이 등장하게 된 3가지 요인은 기술, 지리적 위치, 데이터 소유권이다. 애플리케이션과 데이터 저장소가 지리적으로 여러 곳에 분산돼있고 비즈니스 실무자는 데이터를 사용하기 위해 데이터 소유권을 더 많이 요구하고 있기 때문에 앞으로는 데이터 반중력이 현대화된 데이터 분석의 표준으로 자리 잡을 것이다.

또한 데이터 복제 비용의 증가, 데이터 주권, 지역별로 상이한 데이터 거버넌스 규정, 인사이트의 신속한 도출에 대한 요구 등이 데이터 반중력 현상을 가속화하고 있다. 이처럼 데이터 반중력 개념을 고려한 접근 방식이 더욱 필요한 상황에서, 데이터 책임자들은 분산된 데이터 환경을 전제로 개발된 기술에 투자해야 한다. 2024년에는 데이터 반중력이 표준으로 될 것이다.

2. 기업 내 데이터 프로덕트 가치 상승

2024년에는 데이터 프로덕트의 가치를 실감하게 될 것이다. 즉 데이터 프로덕트가 갖는 중요성을 다른 제품의 중요성과 동일하게 생각하는 시기가 도래할 것이다. IT 부문에서 데이터 관리를 전담했던 과거와 달리, 이제는 조직의 모든 이해관계자들이 주도적으로 데이터를 활용하기 위해 데이터 프로덕트를 직접 정의하고 개발하여 부서별 요구사항에 맞춰 데이터를 관리하려고 하기 때문이다.

데이터 중심 시대에는 데이터를 매력적으로 가공하는 것뿐 아니라 최종 사용자의 경험도 데이터 프로덕트의 가치를 결정짓는 중요한 요소로 작용한다. 예를 들어 대형 유통 기업의 모범 사례를 상정해 본다면 차세대 데이터 플랫폼은 맞춤형 데이터 추천, 자주 사용되는 데이터 프로덕트 하이라이트와 같은 기능을 제공하는 동시에 데이터 계보 가시성과 사용자 보증(User Endorsement)를 통해 데이터에 대한 신뢰를 구축해야 한다.

또한 이러한 플랫폼은 데이터 카탈로그에서 직접 하는 실시간 쿼리를 용이하게 하고 사용자 문의, 데이터 요청 및 수정에 대한 대화형 피드백 루프를 유지해야 한다. 전자상거래에서 적시 배송이 필수인 것처럼, 신뢰할 수 있는 데이터에 대한 빠른 액세스는 기업에게 필수 불가결한 요소다.

데이터 카탈로그부터 사용자 경험, 신속한 데이터 접근, 강력한 보안과 거버넌스까지 모두 포괄하는 통합 데이터 플랫폼이 등장하면서 2024년은 데이터 프로덕트 활성화의 변곡점이 될 것이다. 통합 데이터 플랫폼은 기업에서 데이터를 기반으로 의사결정을 합리적으로 내리는 문화를 만들도록 지원하고, 데이터를 손쉽게 사용할 수 있게 필요한 리소스를 제공할 것이다. 이에 따라 데이터의 가치가 높아지고, 기업의 데이터 관리, 활용 방식도 크게 변할 것으로 예상한다.

3. 생성형 AI에 적합한 데이터 아키텍처 등장

오늘날 기업은 생성형 AI와 대규모언어모델(LLM)을 도입하는 데 있어 데이터 품질, 거버넌스, 윤리 준수, 비용 관리 측면에서 많은 어려움에 직면하고 있다. 각 문제의 해결은 기업의 데이터 관리 전략과 직결된다. AI 모델에 공급하는 데이터의 무결성 보장, 복잡한 데이터 규정 준수, 기존 시스템과의 원활한 통합 등의 과제를 처리하기 위해서는 효과적인 데이터 관리 방안이 핵심적인 역할을 하기 때문이다. 생성형 AI는 데이터 관리에도 영향을 미쳐 비즈니스 친화적인 기술과 도구를 탄생시킬 것이다.

이러한 맥락에서 강력한 데이터 관리 인프라는 생성형 AI 성공을 위한 핵심이 될 것이다. 잘 관리된 고품질의 데이터는 생성형 AI와 같은 고급 모델이 운영될 수 있도록 탄탄한 토대를 제공하며 AI가 만든 결과물의 신뢰성과 윤리성에 큰 영향을 미친다. 즉, 신뢰할 수 있는 고품질 데이터가 없으면 성공적으로 생성형 AI를 활용하기 어렵고, 가장 고도화된 생성형 AI를 도입하더라도 AI 윤리를 위반하거나 신뢰도가 낮은 결과물을 만들어 낼 위험성이 있다.

2024년에는 엔터프라이즈 데이터 관리가 생성형 AI의 성공적인 도입에 더욱 중추적인 역할을 할 것으로 전망한다. 생성형 AI는 분명 비즈니스 수행 방식에 광범위하게 영향을 줄 것이고, 이 과정에서 우선돼야 할 것은 데이터 관리와 생성형 AI의 공생관계다. 견고한 데이터 관리 프레임워크 구축에 적극 투자하는 기업일수록 생성형 AI와 같은 첨단 기술을 기반으로 비즈니스 잠재력을 최대한 발휘할 수 있고 선도적인 입지를 공고히 해 비즈니스 혁신과 성장을 이뤄낼 수 있을 것이다. 앞으로 클라우드 컴퓨팅이 가속화되고 데이터가 더욱 분산되는 환경에서 기업이 강력한 데이터 관리 전략을 구축해 생성형 AI를 성공적으로 도입하고 데이터를 효율적으로 관리할 수 있기를 기대해본다.