고품질 데이터 관리는 기업 프로세스 수준 향상으로 직결
차세대 데이터웨어하우스와 ETL(2)
SOA속에 숨어있는 데이터 통합(3)
인포메이션 허브와 마스터데이터관리(4)
메타 데이터 관리와 데이터 품질(5)
정인호
인포매티카코리아 기술본부 본부장
신문에서 본 재미있는 통계가 있다. 기독교, 불교, 천주교에 등록된 신자들의 숫자를 모두 더하면 우리나라 인구보다도 많다는 내용이다. 물론 두 가지 이상의 종교를 갖고 있는 사람이 없을 수는 없지만 종교를 믿지 않는 사람들의 숫자를 생각해 보면 이해 할 수 없는 통계인 것이 분명하다. 우리가 조심히 생각해볼 부분 가운데 하나는 각각의 종교에 등록되어 있는 개인들은 단 하나씩만 존재할까?
중복 자료와 데이터 표준의 장점
아마도 그 곳에서도 중복된 개인들이 존재하게 될 것이다. 결과적으로 종교별 신자 수에 대한 통계는 아무런 가치가 없는 무의미한 자료라고 판단할 수 있다. 가장 큰 의미를 두는 가장 많은 신도를 보유하고 있는 종교에 대한 부분도 결과적으로 자체적인 중복 발생을 의심하자면 당연히 의미가 없는 자료일 것이다.
우리 기업 내에서는 이러한 중복자료의 발생으로 인한 문제는 없는가? 몇 가지 사례를 들어 보자. 전국에 공장을 소유하고 있는 제조업의 경우 대부분은 본사와 공장에 각각의 전산 시스템을 보유하고 관리하고 있다. 가장 쉽게 검증할 수 있는 부분은 각각의 공장 시스템에서 보유하고 있는 직원의 숫자와 본사에서 관리하고 있는 인사시스템의 직원의 숫자를 조사해 보면 아마도 많은 기업에서 조금씩의 차이를 볼 수 있을 것이다.
금융 산업으로 가보자. 이제는 많이 줄었지만 - 이미 CRM(고객관계관리)을 구축한 금융기관이 많이 있음 - 콜센터에서 물어보는 본인 정보와 지점을 방문하여 확인한 본인 정보가 상이한 현상을 종종 느꼈을 것이다. 최근 금융기관의 경우 M&A가 많이 이루어지고 있는 상황에서 서로가 보관·관리하고 있는 고객의 계좌번호 체계부터 고객의 정보까지 다름으로 해서 시스템의 통합 역시 많은 어려움을 만들게 되어 있다.
두 개 이상의 회사 계정계 시스템이 통합되기 위해서는 서로의 시스템에 대한 분석 작업부터 많은 시간이 걸리며 2가지의 상이한 계좌 구조가 같이 운용되기 위하여 수많은 프로그램의 변경이 필요하며 어려운 절차를 거처 데이터의 통합 또한 어려움을 겪게 만든다.
▲ Master Data 과거의 유형
그렇다고 해서 모든 시스템의 고객 정보가 통합됐다고 볼 수는 없으며 통합되지 않은 고객 정보로 인한 문제는 계속 내포하고 있게 되는 것이다. 만일 고객의 정보가 통합되어 있다고 한다면 기본이 되는 데이터들이 한 가지의 표준화된 형태로 구성되어 있다면 좀 더 쉬운 방법으로 이러한 문제들을 해결할 수 있게 될 것이다.
CIH - 하나의 시스템에 통합해 관리
고객정보허브(CIH;customer information hub), 고객데이터허브(CDH;customer data hub) 등 다양한 형태로 불린다. CI 나 CD 둘 다 고객의 정보라는 의미는 같다고 볼 수 있고 허브(HUB)의 의미를 알아보자. 우리는 이미 허브라는 단어는 친숙하게 사용을 하고 있다. 기업 내에서 개인의 컴퓨터가 네트워크와 연결되기 위하여 케이블을 연결하게 되고 이 케이블은 몇 개의 묶음 단위로 네트워크 허브 장비에 연결하게 된다.
개인 PC에서 보자면 허브 장비와 연결만 하면 내가 원하는 모든 자료를 얻을 수 있으며 데이터의 전송도 역시 허브까지만 연결을 하면 어디에든 필요한 곳까지 전송이 가능한 것 같이 보이게 된다. 여기서 이야기하는 허브도 동일한 의미에서 고객의 모든 정보를 통합해서 관리하는 곳으로 이 시스템과 연결되는 모든 시스템은 고객의 정보가 필요할 때 언제든지 최신의 통합된 고객 정보를 이 시스템에서 얻을 수 있으며 또한 자신에 의하여 변경된 고객 정보는 이 허브 시스템에 전달을 하면 필요한 모든 시스템에서 공유하여 사용할 수 있다는 의미라고 볼 수 있다.
이미 기업 내에는 다양한 형태의 다수의 시스템이 존재를 하고 있다. 그 시스템 중 많은 시스템에서 고객 정보를 각각의 필요 형태에 맞추어 생성하고 관리하며 사용하고 있다. 처음부터 모든 시스템에서 고객 정보를 통일된 형태로 관리하기로 했다면 좋겠지만 대부분의 프로젝트에서 필요로 하는 형태로 고객을 관리하고 있기 때문에 전사적으로 보면 여러 가지 형태의 고객 정보가 관리되고 있으며 통합되지도 않은 상태에서 서로 다른 정보를 관리하게 된다.
▲ Master Data 오늘의 유형
심지어는 영업시스템, ERP, CRM, SCM 등의 각각의 시스템에 존재하는 고객의 코드 체계조차도 서로 상이한 구조로 되어 있어 동일한 고객인지에 대한 관리조차 어려운 경우도 있다. 이러한 상태에서 정보계 시스템을 구축하는 경우는 시스템 구축에 필요한 작업보다는 고객 정보를 통합하는 작업에 더 많은 비용과 시간이 필요하게 된다.
이 시점에서 고객이 통합되지 않으므로 해서 발생하는 문제를 알아보기로 하자. 가장 중요한 부분이 마케팅 업무라고 보는데 캠페인을 수행하기 위하여 다양한 형태의 다량의 메일을 발송하게 되지만 반송되는 경우도 많이 발생하게 되고 또한 중복된 메일이 전달되는 경우도 많이 발생하게 된다. 유통업체에서 동일한 날짜에 받은 2개의 메일에 하나는 카드대금 미납으로 인한 경고가 담겨있는 메일과 다른 하나는 우수 고객으로의 등급 상승으로 인한 할일 혜택이 주어진다는 메일을 받아보는 고객의 입장을 생각해 보자.
아마도 해당 업체에 대한 신뢰도는 이미 고객의 마음을 돌려놓을 수준으로 화나게 만들게 될 것이다. 많은 사람들이 하나의 금융기관에 다수의 계좌를 개설해 놓은 경우가 있을 것이다. 얼마 전까지는 계좌 중심의 고객 등급을 관리하여 하나의 고객이 여러 개의 등급으로 구성되어 있었다. 어떤 통장을 가지고 가서 송금을 하게 되면 수수료가 면제가 되지만 다른 통장으로 송금을 하게 되면 수수료가 붙게 되는 현상을 여러 번 겪었을 것이다. 이 또한 고객 중심의 서비스가 되지 않아 발생하는 고객의 불만 사항으로 남게 된다.
고객정보허브(CIH)는 이러한 각각의 시스템이 흩어져 있는 고객을 하나의 시스템에 통합하여 관리하는 시스템이다. 필자의 경우 하나의 은행에서 20년 이상 고객으로 급여 이체를 하고 있으므로 그 은행에 가게 되면 본인 명의의 모든 통장에서는 우수 등급의 고객 대접을 받게 되어 많은 부분에서 혜택을 받게 된다. 이제 그 은행은 계좌 중심에서 고객 개인 중심으로 서비스를 변경하여 수행하고 있는 곳이라고 볼 수 있다. 어떤 고객이 A라는 통장으로 1억은 이체하고 잠시 후 은행을 방문하여 B라는 통장을 제시할 때 시스템으로는 B라는 계좌의 정보뿐만 아니라 그 고객의 정보를 확인하여 지점장이나 간부가 고객에게 고마움을 표시 했을 때 고객의 반응은 아마도 우리의 상상 이상일 것이다.
▲ "Master Data"Management Solution Stack
MDM - 기본 데이터에 대한 표준화
과연 고객 정보만이 기업에서 중요한 정보이면서 중복으로 관리되는 정보일까? 기업 내에는 고객정보 말고도 수많은 정보가 중복되어 관리되고 있다. 기업 운영의 가장 기본이 되는 ERP, CRM, SCM, HRM, DW, BI 등을 전체적으로 분석해 보면 제품, 라인 고객, 파트너, 부품, 직원, 조직, 각종 코드 정보 등 데이터 양이나 변경의 건수와 상관없이 생각보다는 엄청난 종류의 정보가 중복되어 관리되고 있는 것을 볼 수 있다. 우리는 이러한 일반적으로 자주 변하지 않고 시스템 운용의 근간이 되는 기본 자료의 묶음을 마스터 데이터라고 하고 CIH와 같이 하나의 시스템에서 통합해서 관리하는 것을 마스터 데이터 관리라고 한다. CIH의 확장판이라고 보면 될 것이다.
마스터데이터관리(MDM;master data management)의 필요성을 파악해 보기로 하자. MDM을 다른 의미로 표현하면 기본 데이터에 대한 표준화라고 보는 것이 적당할 것이다. 각각의 다른 시스템에서 같은 의미로 사용하고 있지만 코드의 형태가 값이 다른 자료를 표준화하여 하나의 시스템에서 관리하게 되고 변경이 발생하더라도 절차에 따라 모든 시스템에서 동시에 데이터의 일치성을 보장하게 될 것이다.
현 시점에서 새로이 구축되는 시스템의 유형을 보면 전혀 시스템화 되지 않았던 업무를 프로젝트화 하는 경우는 드물고 크게 보면 2가지의 유형으로 차세대 시스템 구축 프로젝트와 같이 기존에 운용되는 업무 시스템을 신 개념의 시스템으로 새로이 구축하는 업무가 있을 것이고 다른 하나는 운용계에서 발생한 정보를 이용하여 필요에 따른 정보계 시스템을 구축하는 것이 있을 것이다. 차세대 시스템 구축의 커다란 사상 중의 하나는 이제까지 각각의 프로젝트로 개발된 시스템을 논리적으로 통합하여 하나의 시스템에 관리를 하고 유기적으로 연계가 되기를 원하고 있다.
이러한 통합의 측면은 공통으로 사용되는 자료에 대한 표준화 및 공통 관리가 필요하게 될 것이다. 차세대 시스템 구축의 일환으로 미리 이러한 MDM 프로젝트를 통한 표준화를 이루어 놓으면 향후 프로젝트에서 자체 업무 개발에 좀더 충실히 수행하게 될 것이다. 현재 시스템 구축 프로젝트의 대부분은 정보계성 프로젝트를 많이 수행하고 있고 앞으로도 많은 정보계성 프로젝트를 수행하게 될 것이다.
정보계 시스템 데이터의 두 축은 기본 데이터와 트랜잭션 데이터로 구분되는데 이미 마스터데이터관리를 통한 기본 데이터에 대한 구성이 완료가 되어 있다면 단지 프로젝트에서는 필요한 기본 정보를 마스터데이터관리와 연계하기만 하면 되고 모든 작업은 트랜잭션 데이터에 집중을 하여 프로젝트를 수행 할 수 있을 것이다. MDM의 가장 큰 의미는 공통 데이터에 대한 인프라 구축의 의미를 내포하고 있다. 이상에서 설명한 바와 같이 고객정보허브(CIH)와 마스터데이터관리(MDM)는 유사한 형태로 구성되며 활용되는 내용이므로 편의상 앞으로 표현하는 MDM이라고 하는 부분은 CIH도 포함된다고 보면 될 것이다.
마스터 데이터 통합
고객정보허브(CIH)나 마스터데이터관리(MDM)의 경우 근본적인 내용은 데이터 통합에 있다고 본다. 현재까지 운용계간의 데이터 통합은 Pier-to-Pier 방식으로 필요한 시스템 간에 구성하는 것이 기본적인 방안으로 사용되고 있었다. 그러나 이러한 데이터 통합의 대상은 마스터 데이터가 아닌 트랜잭션 데이터를 중심으로 수행되다 보니 시간이 지날수록 시스템간의 마스터 데이터의 불일치가 점점 늘어나게 되는 경우가 발생하고 있다.
▲ Informatica Data Intcgration Platform
또한 마스터 데이터조차도 데이터 일치의 주기가 문제가 되어 불편함을 감수해야 하는 경우도 종종 발생하게 된다. 얼마 전까지 종종 나타나는 현상은 웹상에서 고객 등록을 하였으나 실제로 로그인을 하고자 하면 고객이 아니라고 나타나는 경우가 있었다. 일정 시간이 흐르고 다시 작업을 하게 되면 그때 비로소 로그인이 되는 경우가 있다.
누구나 마스터 데이터 통합의 필요성이나 중요성을 모르는 사람은 없을 것이다. 그러나 같은 의미를 포함하고 있지만 구성이 다른 하나 이상의 시스템에 존재하고 있는 정보를 통합하는 것은 결코 쉬운 일은 아니다. 이러한 작업을 완벽하게 구축하기 위해서는 주요 업무의 수많은 프로그램의 수정이 필요하기 때문에 누구나 쉽게 마스터 데이터 통합 작업을 하기를 원하지는 않는다.
프로그램 변경에 따른 위험도에 대비하여 효과가 크다고 생각하지 않는 이유라고 볼 수 있다. 이런 저런 이유에서 멀어지기 시작한 시스템 간의 마스터 데이터를 통합하기 위해서는 애플리케이션 단위의 작업으로는 불가능하고 새로이 제공되는 솔루션 등을 이용하여 보다 손쉽게 적용하는 방안을 모색해야 할 것이다. 마스터데이터관리의 기본은 현재 운용되고 있는 업무계의 시스템을 변경하고자 하는 것이 아니라 기존의 시스템은 그대로 사용을 하고 MDM에서 각각의 시스템에 맞추어 기본 데이터에 대하여 통합해서 관리하게 된다.
MDM 구축의 유형
고객정보허브(CIH)의 경우 대부분 기존의 시스템은 그대로 유지하는 가운데 최신의 고객 정보를 하나의 시스템에 통합하여 관리하는 유형이다. 실제적인 고객의 변경은 기존 시스템에서 작업을 하게 되어 기존 업무계 시스템은 변경 없이 계속 사용하게 된다. 그리고 고객의 정보를 활용하기 위해서는 이제까지는 각각의 시스템에서 작업을 하였으나 이후로는 CIH를 중심으로 고객의 정보 및 고객과 연계된 모든 조회를 수행 할 수 있도록 하게 된다. 마스터데이터관리(MDM)도 동일한 유형으로 구축하여 관리할 수 있다.
그러나 MDM에서 필요로 하는 부분은 통합하여 관리도 하지만 변경 사항이 생겼을 때 연관되는 시스템의 정보도 같이 변경이 필요한 것이다. 예를 들어 신규 직원이 입사를 하거나 기존 직원이 퇴사를 하는 경우 인사 시스템에서 변경을 하지만 직원 정보가 필요로 하는 모든 시스템에도 동일하게 입사 정보와 퇴사 정보가 업데이트 되어야 하는 것이다. 그래야만 2중 입력 없이 하나의 정확한 정보를 모든 시스템에서 동일한 정보로 활용이 가능한 것이다.
경우에 따라서는 CIH 프로젝트에서도 이러한 형태의 요구사항이 발생하는 경우도 있다. 모든 정보를 동일하게 변경하기 위하여 중요한 부분은 동일한 정보를 여러 시스템에서 동시에 변경하고자 하는 경우 발생하는 문제의 해결 방안이다. 가장 좋은 방법은 마스터 데이터를 변경하기 위한 시스템을 해당 정보의 메인이 되는 시스템에서만 변경하도록 하는 방안이 있을 것이다. MDM을 구축하기 위한 패키지나 툴을 도입할 때, 이 부분의 처리 방안에 대하여 심도 있게 분석해야 할 것이다.
MDM 구축 방안
마스터데이터관리 프로젝트가 일반 시스템 구축 프로젝트와의 차이점을 본다면 일반 사용자들에게 직접적으로 효과를 볼 수 있는 내용(컨텐츠)이 약하다. 그러므로 사용자 측면에서는 급하게 요청하는 프로젝트가 아니다. 이 프로젝트의 주체도 IT 부서가 되고 실행도 IT 부서에서 진행하는 프로젝트인 것이다. 어떻게 보면 메타 데이터 관리 프로젝트와 유사하게 보일 수 있으나 메타 데이터 관리는 데이터를 구성하는 정보를 관리하는 것이고 MDM은 실제 데이터를 관리하는 것이라는 차이가 있게 된다.
우선은 분석단계에서 모든 메타 데이터를 수집해야 할 것이다. 그리고 수집된 메타 데이터의 공통분모들을 찾는 것이 필요할 것이다. 여기서 만일 이미 우리가 메타 데이터를 관리하고 있다면 좀 더 쉽게 접근할 수 있을 것이다. 그래서 MDM 프로젝트를 수행하기 전에 도움이 되는 내용을 살펴보면 메타 데이터 관리가 필수적일 것이다.
메타 데이터 관리를 통하여 현재 시점의 데이터베이스 정보를 정확하게 파악하게 되고 의미를 중심으로 공통되는 메타 정보를 취합하면 될 것이다. 취합된 정보를 가지고 분류를 하게 되는데 중요도와 중복 정도를 중심으로 공통으로 사용되는 데이터의 순위를 매기게 된다. 매니지먼트라고 하는 것은 모든 것을 완벽하게 수행하는 것이 아니라 필요한 수준을 정하여 수준에 적합한 정보를 잘 관리하는 것이다. 이제부터는 전체 자료 중에서 어느 수준까지 관리를 할 것인가를 결정하면 된다.
이 다음이 가장 어려운 부분이라고 볼 수 있는데 중복이 되는 마스터 데이터들에 대하여 표준화 작업을 수행해야 한다. 가장 힘들고 어려운 작업이며 경우에 따라서는 이 표준화 부분 때문에 프로젝트가 중단이 되는 경우도 발생을 하게 된다. 일반적 개발 프로젝트에서 몇 개의 부분만을 표준화하는데도 장기간의 회의와 협의를 통하여 결국 이번 프로젝트는 그냥 표준화 없이 진행을 하게 되는 경우가 비일비재하게 발생을 하고 있는데 모든 정보가 공동으로 사용되고 있는 것이며 이것을 표준화 하는 부분은 프로젝트의 가장 중요한 부분이기도 하지만 넘어야 할 산 중에 가장 큰 산이기도 하다.
여기까지 수행을 하면 분석단계는 완료가 되었다고 볼 수 있고 다음 설계단계에서 모든 시스템에서 사용이 가능한 형태로 설계를 하는 것이 중요하다. 대부분의 MDM 솔루션이라고 하는 패키지나 제품들은 대부분 이러한 부분을 해결하기 위한 데이터 모델을 보유하고 있다고 보면 될 것이다. 또한 업무적인 측면에서 설계 과정 중 중요한 부분은 작업의 우선순위 결정과 데이터 정합성 관리 프로세스 설정이라고 본다.
작업의 우선순위는 앞에서도 설명했듯이 동일한 정보를 동시에 변경하고자 하는 경우 어떠한 데이터를 중요하게 생각하는가를 결정하는 것이고 데이터 정합성 관리 프로세스는 하나의 변경이 발생했을 때 어떠한 프로세스 과정을 거쳐 전체적으로 동일한 데이터를 관리할 수 있도록 설계하는가에 대한 부분이다.
예를 들어 콜센터로부터 신규 고객이 등록되었다고 가정을 하자. 당연히 고객 마스터에 신규 고객을 등록해야 할 것이고 또한 고객 정보를 중요하게 관리하는 CRM이나 마케팅 시스템, 영업 시스템 등에도 동일하게 신규 고객의 정보가 등록되어야 할 것이다. 이러한 각각의 등록이나 변경 작업에 따른 프로세스의 설계가 이 시스템의 핵심이라고 볼 수 있다. 개발 과정은 패키지나 툴에서 제공하는 기능을 이용하여 작업을 하면 될 것이지만 데이터의 통합은 생각보다 쉽지 않을 것이다.
여러 시스템에 흩어져있는 데이터를 하나의 모델에 통합하는 작업도 어렵지만 중심이 되는 데이터들의 품질에 대한 보장도 필요한 것이다. 각각의 시스템에 존재할 때는 단지 그 시스템의 품질만 영향을 받게 되지만 MDM으로 구축된 형태에서의 품질은 기업 데이터 전반의 품질과 직결되므로 데이터 품질 관리는 아주 중요한 역할을 수행하게 된다. 필요에 따라서는 MDM 프로젝트를 수행하면서 동시에 데이터 품질관리 프로젝트를 수행하는 것도 좋은 방안일 수 있다. 이러한 부분이 어렵다면 MDM에 관련된 부분만 이라도 데이터 품질 관리가 병행되어 수행되어야 할 것이다.
기업 비즈니스 프로세스 향상
많은 비용과 많은 시간을 투자하여 구축하는 시스템이 단지 전사적인 차원에서 데이터의 일치성을 보장하는 의미만을 제공한다면 프로젝트의 성사여부나 목적이 너무 축소된다고 볼 수 있다. SOA(service oriented architecture)가 갖게 되는 의미를 보면 IT 전략에 대한 인프라 구축의 의미가 가장 크고, 메타 데이터 관리 역시 IT 부서내의 정보에 대한 인프라 구축이듯이 MDM 프로젝트는 기본 데이터에 대한 인프라를 구축하는 의미를 갖게 된다. 인프라의 대부분은 처음에는 많은 비용과 인력이 투입되지만 단기적인 효과는 보이지 않을 수 있다.
하지만 시간이 지나면서 서서히 나타나는 것이 인프라의 특징인 것이다. 예를 들어 새로운 프로젝트를 수행한다고 했을 때 앞으로는 MDM과 연관이 있는 모든 정보를 고민하지 않고 MDM과 동일한 구성과 동일한 값을 갖게 된다면 프로젝트의 분석/ 설계/ 개발에서 많은 비용을 절감하게 될 것이다. 또한 새로운 시스템이 타 시스템과 연계 작업을 수행하는 경우도 역시 표준화된 MDM의 형태를 기준으로 수행하게 된다면 보다 유연하게 통합 작업을 수행하게 될 것이다. 업무적인 측면에서의 기대 효과를 보자면 우선 고객을 통합하므로 수많은 장점들을 발견하게 될 것이다.
보험 회사의 경우 상품별로는 회사에 큰 기여를 하고 있지 않는 고객이지만 고객 중심으로 볼 때 한 고객이 여러 개의 보험을 가입하여 실제적으로 회사에 중요한 고객으로 위치하게 될 수도 있을 것이다. 또한 이러한 고객은 새로운 상품 개발로 인한 마케팅에는 주요 대상으로 활용하기 좋은 고객이 될 것이다. 유통의 경우는 한 고객이 다양한 점포에서 제품을 구매하여 많은 매출을 발생시키지만 점포 측면에서 보면 중요해 보이지 않는 것 같은 고객의 왜곡 현상을 바로 잡아주게 될 것이다.
마케팅 측면에서 고객의 통합 관리는 무엇보다도 중요한 장점이 될 것이다. 실제로 우리의 고객이 얼마가 되는지를 간단하게 알 수 있으며 통합된 고객을 중심으로 세그먼트를 수행했을 때 보다 완벽한 대상을 찾아내게 될 것이다. 고객 주소 불명 등에 대한 메일의 반송량도 최소화하게 될 것이며 동일한 메일의 중복 수령과 같은 현상은 아주 사라지게 될 것이다.
정리해 보면 CHI나 MDM으로 인하여 기업이 데이터 관리에 있어 전사적인 뷰를 확보하고 고품질의 데이터관리를 함으로써 기업 비즈니스 프로세스의 수준을 한 단계 높일 수 있도록 해 준다고 본다.