[아이티데일리] 데이터를 효과적으로 수집·저장·활용하는 것은 모든 기업들이 마주하고 있는 최우선 과제다. 데이터는 기업이 단기적인 비즈니스 결정을 내릴 수 있도록 지원할 뿐만 아니라, 때로는 미래를 예측하고 전사적인 혁신을 일으키기 위한 근거가 되고 있다. 이에 따라 전 세계 기업들은 보다 많은 데이터를 효과적으로 수집하고 분석하기 위해 다양한 데이터 전략을 수립하고 있다.

전 세계 기업들이 데이터를 효과적으로 활용할 수 있도록 돕는 국내외 벤더사들을 통해, 이들이 제시하는 최적의 데이터 전략에 대해 들어봤다.

데이터, 기업 경쟁력의 핵심 지표
오늘날 데이터는 기업의 경쟁력을 결정짓는 중요한 요소 중 하나로 자리 잡았다. 보유하고 있는 데이터의 절대적인 양, 데이터에서 유의미한 인사이트를 추출해낼 수 있는 분석 역량, 분석 결과를 실제 비즈니스에 효과적으로 적용할 수 있는 체계적인 프로세스 등, 기업이 정확한 의사결정을 내리고 성공적인 비즈니스 활동을 펼치기 위해서는 데이터 관련 역량이 필수다. 이제 전 세계 기업과 기관들은 중요한 문제가 발생했을 때 데이터를 기반으로 의사결정을 내리는 것을 당연하게 여기게 됐다.

금융·통신·제조·유통 등 산업 규모가 크고 각각의 의사결정이 큰 의미를 같은 분야에서는 이미 우선적으로 데이터 관련 기술과 인프라 도입을 서둘러왔다. 하지만 이제 데이터 과학(Data Science)은 일부 선도기업만의 전유물이 아니라 모든 산업계 전반의 보편적인 기술로 정착하고 있다. 데이터 과학이 실제 비즈니스에 긍정적인 영향을 미치는 사례들이 축적되면서 산업계의 관심과 신뢰도가 높아지고, 이는 비즈니스 문제를 데이터 과학로 해결하려는 시도가 증가하는 결과로 이어지고 있다.

과거에는 비즈니스와 직접적으로 관련된 데이터를 수집 및 분석해 미래를 예측하고 의사결정을 지원했으며, 이후 보다 방대하고 실시간 정보를 수용할 수 있는 빅데이터의 중요성이 강조되면서 더욱 강력하고 정확한 데이터 관리 역량이 필요해졌다. 최근에는 데이터 관리와 분석을 위한 하드웨어(HW), 소프트웨어(SW) 기술이 발전하면서, 기업과 시장 전체를 아우르는 거시적인 관점에서의 데이터 활용만이 아니라 고객 한 명 한 명에게 최적화된 서비스를 제공할 수 있는 개인화된 서비스가 주목받고 있다. 또한 인공지능(AI)과 머신러닝 기술과 결합해 데이터 관리와 활용 사이클을 자동화하거나 실시간으로 유의미한 인사이트를 확보하고자 하는 시도가 이어지고 있다.

이미 각 산업분야의 선도기업들은 데이터를 실시간으로 확보할 수 있는 채널과 인프라를 다양화하고 보다 효과적·효율적으로 변환·분석이 가능한 데이터 아키텍처 마련에 박차를 가하고 있다. 데이터 중심의, 혹은 데이터 주도적인(Data-Driven) 비즈니스 프로세스를 마련하기 위해서는 ▲다양한 채널을 통해 데이터를 수집·저장하고 ▲수집된 데이터의 품질과 메타데이터를 관리하고 ▲사용자가 원하는 대로 분석·활용할 수 있어야 한다.

전사 데이터 아우르는 ‘싱글 뷰’ 갖춰야
엔터프라이즈 데이터 플랫폼 기업 클라우데라가 발표한 보고서(“Critical Success Factors to Achieve a Better Enterprise Data Strategy in Multicloud Environment”, 2019.9)에 따르면, 전 세계 약 70%의 조직이 포괄적인 데이터 전략과 역량을 비즈니스 목표를 달성하기 위한 핵심 요소로 인식하고 있다. 하지만 현재 갖춰진 데이터 전략·역량이 충분하다고 생각하는 조직은 35%에 불과했다. 이들은 기존의 비즈니스 인텔리전스(Business Intelligence, BI) 및 데이터 웨어하우스(Data Warehouse, DW)과 같은 전통적인 데이터 기술을 활용해 전체의 7~80%에 달하는 데이터를 처리·활용하고 있었다. 이러한 전통적인 데이터 기술들에 의존하는 기업들은 몇 가지 공통적인 어려움과 마주한다.

가장 먼저 언급되는 것은 다양한 데이터를 결합하고 통합하는 문제다. 대다수의 기업들은 수집한 데이터를 통합적으로 관리하지 못하고, 데이터를 종류별로 서로 다른 저장소(DB)에 분산해 저장·관리한다. 같은 조직 내에서도 마케팅 부서는 마케팅 부서의 DB를, 생산 부서에서는 생산 부서의 DB를 사용한다. 조직별로 DB가 산재돼 있다보니 데이터의 사일로(silo)화가 나타나고 이는 데이터 인프라의 운영에 대한 부담과 비용을 가중시킨다. 각각의 부서에서 서로 필요한 데이터를 주고받거나 통합하는 과정에서 불필요한 작업이 발생하기 때문이다. 또한 부서별로 데이터를 저장하는 형태도 모두 달라 결합에도 애로사항이 발생한다.

그나마 비용을 지불하고서라도 부서간의 데이터를 공유하고 통합할 수 있다면 상황이 나은 편이다. 부서간의 소통이 원활하지 못할 경우 이마저도 불가능하다. 서로 어떤 데이터를 보유하고 있는지조차 알지 못하기 때문이다. 기업이 100만큼의 데이터를 보유하고 있더라도, 타 부서의 데이터를 공유할 방법이나 시스템이 갖춰지지 않으면 우리 부서가 다루는 10만큼의 데이터만 활용할 수 있다.

전사적인 관점에서 보유하고 있는 데이터를 확인하고 서로 결합해 새로운 인사이트를 만들어내기 위해서는 사내의 모든 데이터에 대한 싱글뷰(single-view)가 필요하다. 최소한 우리 회사가 어떤 데이터를 가지고 있는지, 해당 데이터의 원 출처는 어디이며 어느 부서에서 관리하고 있는지, 이를 획득해 분석에 활용하기 위해서는 어떤 프로세스를 거쳐야 하는지 등은 데이터 활용도를 높이기 위한 가장 기본적인 정보다. 기업은 사내의 모든 데이터에 대한 정보를 담은 카탈로그 형태의 플랫폼을 구축해 이러한 문제를 해결할 수 있다.

카탈로그 형태의 데이터 플랫폼은 기존의 부서별 데이터 저장 방법을 유지하면서 데이터에 대한 접근성과 활용도를 향상시키는 관리 측면의 거버넌스(governance) 전략이다. 각 부서별 데이터 저장 프로세스는 그대로 유지하되, 전사적으로 데이터 보유 현황을 파악할 수 있는 플랫폼 레이어를 한 단계 추가한다. 각 부서의 데이터 저장 방식이 그대로 이어지므로 업무 프로세스에도 별다른 영향을 주지 않아, 큰 어려움 없이 비즈니스 연속성을 유지할 수 있다.

데이터 플랫폼이 효과적으로 운영되기 위해서는 높은 수준의 데이터 거버넌스가 필요하다. 단순히 전사 데이터를 확인할 수 있는 플랫폼이 완성됐다고 해서 이것이 전사적인 데이터 활용성을 높이지는 못한다. 사용자가 원하는 데이터를 찾을 수 있어도 이것을 사용하기 위해 복잡한 데이터 이관 및 변환 과정을 거쳐야 한다면 업무 효율이 크게 떨어지기 때문이다. 따라서 데이터 플랫폼으로 전사 데이터에 대한 접근성을 높이는 동시에, 거버넌스 차원에서 데이터의 요청·이관 절차를 시스템화하고 데이터의 결합·통합을 고려한 메타데이터 관리 등을 수행해야 한다.