정병오 데이터스트림즈 컨설턴트
▲ 정병오 수석컨설턴트 ㈜데이터스트림즈 컨설팅팀
연재순서
1회. 차세대 시스템 구축 프로젝트에서의 데이터 통합의 중요성
- 데이터 표준화, 데이터 이행, 클린징, 정보계 구축 등 주요 데이터 통합과제들에 대한 접근 방법 및 동향 등
2회. 데이터 표준화 및 메타데이터 기술발전 추세
- 데이터 표준화 체계 마련을 위한 다양한 노력들과 이를 지원하기 위한 솔루션으로서의 메타 데이터 관리시스템의 필요성 및 효과적인 적용방안
3회. 데이터 품질 관리의 다양한 접근 사례
- 기업의 데이터 품질관리를 위한 최근 동향 및 적용사례, 발전 방향
4회. 정보계 개발 이슈 및 실시간 처리 방안
- 최근 정보계 데이터 구축 추세로서의 실시간 요건반영을 위한 다양한 접근 사례
5회. SOA 기반의 데이터 거버넌스 아키텍처
- 최신 IT아키텍처로서 소개되었고 점차 보편화된 용어로 자리 잡아가고 있는 서비스 지향 아키텍처(SOA)에서의 데이터 관리 이슈 및 SOA에서의 다양한 데이터관리 솔루션 아키텍처에 대한 구축 방향성
기업의 생존수단 데이터 품질관리
요즈음 인기리에 방영중인 선덕여왕을 보면 일식과 월식이 일어나는 정보를 활용하여 권력을 쟁취하는 모습을 볼 수가 있다. 요즈음은 며칠 몇 시경에 일식이 일어난다는 정보를 모두가 알고 있어서 하늘을 쳐다 보며 핸드폰으로 일식을 찍어대는 세상을 사는 사람으로서는 황당한 이야기지만 그것이 그 시대는 중요한 정보였던 것이다. 사느냐 죽느냐 하는…. 그런데 필자가 느끼기에는 선덕여왕 시대나 지금이나 상황은 다르지 않다. 내용과 수준의 차이가 있지만, 결국 정보의 획득과 활용이 우리의 생존을 결정짓는다는 것은 매 한가지다. 옛말에 "곳간에서 인심 난다"는 말이 있는데 그 말을 요즘 시대상에 맞추면"데이터에서 성장과 생존이 결정 난다"는 말로 바뀌어질 것 같다. 미국의 서브프라임 모기지론 사태에서 발생한 세계적인 불황에서 기업들의 IT 예산은 점차 줄어들고 있다. 하지만 비즈니스 요구는 전혀 줄어들고 있지 않으며, 오히려 어려운 때일수록 기업들의 비즈니스 요구는 늘어난다. 이런 상황에서 대부분의 기업들은 비즈니스를 더욱 지혜롭게 운영해 나갈 수 있는 다양한 방법을 모색하고 있는데, 기업들은 운영의 효율화, 비용 절감, 위험 완화로 경쟁에서 승리하기를 바라며, 이를 위한 비즈니스 이니셔티브는 매우 다양하지만 한 가지 공통점은 모두 데이터를 필요로 한다는 것이다. 이러한 상황에서 데이터품질관리는 비즈니스를 성장시키고 비용을 절감하거나 억제하는 역할을 하지만 궁극적으로는 불황 시에 생존의 수단이 된다.
▲ 데이터품질관리체계
데이터품질 현황
PwC(PricewaterhouseCoopers)의 보고서에 따르면 전체 기업 중 75%가 결함 있는 데이터로 인해 큰 문제를 겪었다고 한다. 50% 이상이 내부 조정으로 인한 추가 비용 발생을 경험했으며, 33%가 새로운 시스템을 폐기하거나 사용을 연기할 수밖에 없었고, 20%가 계약 조건 또는 서비스 수준을 만족하지 못했다고 한다. 또한 데이터 품질이 낮으면 기업에 매년 엄청난 비용 부담이 발생한다. 실제로 미국이 한 해 데이터 품질 문제로 지불하는 손실 비용이 GDP의 15%인 1.5억 달러에 달하며, 데이터 결함으로 인해 호주의 한 텔레콤사가 100만 호주달러의 전화요금을 청구하지 못한 사례나 일본 마쓰다사의 불완전한 리스 계약에 따라 525만 달러의 벌금을 지불한 사례는 우리에게도 시사하는 바가 크다.
데이터품질 확보방안
데이터의 품질은 데이터의 생성, 가공, 활용 측면에서 데이터 표준, 데이터구조, 애플리케이션의 세 가지 요소항목에 대한 데이터 품질 확보방안을 찾아야 하며, 차세대 및 신규시스템 구축시에는 프로젝트 수행과정인 분석, 설계, 개발 및 구현단계에 따른 데이터품질방안을 확보해야 한다.
첫째로 데이터의 품질확보를 위하여 데이터생성 시점에 데이터관리정책, 즉 데이터의 효과적인 확보, 유지, 관리를 위해 수립된 규정이나 계획, 지침 등을 포함한 데이터관리 방향 및 원칙을 수립해야 하며, 데이터의 가공 단계에는 가공된 데이터에 대한 데이터품질관리를 위하여 데이터표준관리, 데이터구조관리, 애플리케이션에 대한 변경영향 관리 등을 위한 데이터품질 상시 감시 시스템의 구축을 해야 한다. 또한 데이터활용 시의 지속적인 품질향상 및 유지를 위하여 데이터품질관리 프로세스와 품질 관리조직의 운영을 상시화하는 데이터품질관리체계를 수립해야 한다.
두번째로 차세대 및 신규시스템 구축 시에는 데이터품질관리 체계를 분석, 설계, 개발, 구현 단계에 따라서 데이터품질확보를 위한 수행을 해야 한다. 프로젝트의 분석단계에서는 AS-IS 데이터분석과 데이터 정제지표 수립을 한다. 분석정보와 수립된 지표를 바탕으로 데이터에 대한 프로파일링과 데이터 표준화를 수행하게 되는데, 분석된 결과는 TO-BE 데이터모델링 단계에 기초자료로 사용되며, 또한 프로파일링 결과는 데이터 이행을 위한 정제기준이 된다. 보통의 프로젝트에서는 업무분석과 모델링, 이행수행인력간에 분석된 결과에 대한 공유가 이루어지지 않는 경우가 대부분이며, 이로 인한 결과로 이행 데이터에 대한 품질확보에 문제를 발생시킴으로 구현 및 테스트 단계에서의 어려움을 겪고 있다.
데이터품질관리의 발전방향 마스터데이터관리(MDM)
데이터품질관리를 수행하기 위하여 우리는 데이터표준, 데이터품질관리 및 응용 영향도에 분석을 수행하여 데이터의 생성, 가공, 활용단계의 품질 향상을 위하여 앞으로도 많은 노력을 기울여야 할 것이다. 더불어 자주 변하지 않고 자료 처리 운용에 기본으로 제공되는 자료들에 대한 관리가 필요한데 이것이 바로 마스터 데이터 관리이다. 기업 비즈니스에서 마스터 데이터의 의미는 비즈니스 거래 및 평가를 위한 근간이면서 전사차원에서 활용되는 핵심적인 정보로서 제품 및 상품정보, 자재정보, 장비정보, 고객정보 등으로 분류할 수 있으며, 기업 내에서 발생하는 많은 이슈 중에서 상당부분이 마스터 데이터와 연관이 되어있다. 이를 위하여 SOA기반의 체계적인 프레임웍 상에서의 마스터데이터 관리가 이루어져야 하며, 지역과 업무부분간의 단절 없는 동일한 View의 정보를 통합 운영함으로써 전사 차원의 이익을 극대화하고 시공간의 제약 없이 전사에 걸친 합리적인 의사결정을 가능할 수 있게 해야한다. MDM은 데이터표준 및 데이터 품질관리와 SOA 기반의 데이터 배포를 위한 EAI를 활용한 F/W으로 구성되며, 데이터 모델 관리를 위한 레파지토리, 프로세스관리를 위한 WORKFLOW, 타 시스템으로의 데이터전송을 위한 I/F영역으로 구성된다. 즉, MDM은 데이터품질 향상을 위한 실질적 데이터 관리체계로서 그 동안에 수행되어온 데이터 품질관리체계를 정적인 품질관리라 한다면, MDM은 동적인 품질관리체계라 할 수 있다.
MDM을 사전품질 통제를 위한 최선봉에 위치시키고, 표준화 검증, 배포, 품질 추적모니터링 및 품질 지표에 의한 성과평가의 인프라를 갖춤으로써 데이터 정합성 이슈로 인한 정제, 관리 비용을 획기적으로 절감시켜야 한다.