데이터 통합 및 거버넌스(Data integration and Data Governance)
대외 경쟁력을 강화하기 위한 전략으로 금융기관을 비롯해 글로벌 기업들이 차세대 시스템을 구축하고 있지만 정작 가장 중요한 데이터의 표준화, 클린싱을 통한 통합이나 관리에 대해서는 관심 밖의 일로 여기는 경향이 짙다.
본지는 이에 따라 데이터 통합에 대한 중요성, 기술발전 추세, 최근 동향, 적용 사례, 발전 방향 등에 대해 국내 이 분야시장을 주도해 나가고 있는 데이터스트림즈사에 의뢰해'데이터 통합 및 거버넌스'라는 주제로 강좌를 개설했다. <편집자> 연재순서
▲ 박시형 대표컨설턴트(데이터스트림즈)
1회. 차세대 시스템 구축 프로젝트에서의 데이터 통합의 중요성
- 데이터 표준화, 데이터 이행, 클린징, 정보계 구축 등 주요 데이터 통합과제들에 대한 접근 방법 및 동향 등
2회. 데이터 표준화 및 메타데이터 기술발전 추세
- 데이터 표준화 체계 마련을 위한 다양한 노력들과 이를 지원하기 위한 솔루션으로서의 메타 데이터관리시스템의 필요성 및 효과적인 적용방안
3회. 데이터 품질 관리의 다양한 접근 사례
- 기업의 데이터 품질관리를 위한 최근 동향 및 적용사례, 발전 방향
4회. 정보계 개발 이슈 및 실시간처리 방안
- 최근 정보계 데이터 구축 추세로서의 실시간 요건반영을 위한 다양한 접근 사례
5회. SOA 기반의 데이터 거버넌스 아키텍처
- 최신 IT아키텍처로서 소개되었고 점차 보편화된 용어로 자리 잡아가고 있는 서비스 지향 아키텍처(SOA)에서의 데이터 관리 이슈 및 SOA에서의 다양한 데이터관리 솔루션 아키텍처에 대한 구축 방향성
변화를 요구 받는 IT
하늘을 지배하는 새 중에 가장 오래 사는 새가 바로'솔개'다. 이 솔개는 평균 수명이 70에서 80년이며, 장수를 위하여 40세쯤 매우 중대한 결심을 한다. 솔개가 40세가 되는 해 높은 바위산에 올라 둥지를 틀고 자신의 무뎌진 발톱과 무거워진 깃털을 뽑아버린 후 부리조차 돌로 쪼아 부셔버린다. 이후 6개월을 아무것도 먹지 않고 자신과의 싸움을 통해 버텨낸 솔개는 새로 난 날카로운 발톱과 부리, 그리고 새 깃털로 무장하여 다시 창공을날아오른다. 이후 40년의 생이 보태어지는 것이다.
필자는 20여 년의 세월을 IT분야에 종사한 전산쟁이다. 언제부턴가 전산이라는 말이 정보기술(IT)이라는 세련된 말로 대체되고 IT컨설턴트니 IT스페셜리스트니 하는 호칭이 생겨났지만 웬지 고집스러움이 묻어나고 투박한 전산쟁이가 친근하고 공감이 간다. 필자가 학창 시절에 선배들은 직업의 귀천을 두고 하는 말은 아니었지만"내자식이 전산을 하겠다면 도시락을 싸들고 다니면서 말리겠다."," 차라리 장사를 하는 게 낫다"라는 말로 이 분야의 어려움을 단적으로 표현하였다.
지금도 밤을 새면서 데이터를 맞추고 프로그램을 손보며 또 다른 한편으로는 하루가 다르게 바뀌는 IT기술을 습득하지 않으면 어느새 이 시장에서 도태되고 마는 것이 우리들 전산쟁이라는 직업의 운명이라 하겠다. 앞서 이야기한 솔개의 갱생기간은 40년이지만 전산쟁이인 우리들은 불과 수년도 되지 않아 새로운 기술에 직면하여 적응해야 한다. 이는 최근 차세대 프로젝트를 추진하는 기업의 IT를 책임지는 부서에 속한 사람들뿐 아니라 IT를 상품으로 제공해야만 하는 업종에 속한 모든 이들에게는 새로운 갱생기간이며, 이를 통해 살아나는 기업과 그렇지 못한 기업의 결과는 분명 다를 것이다.
변화의 상징 메가트렌드(Megatrend)
솔개와 같이 기업들이 갱생을 위하여 차세대를 추진하는 이유는 다양하지만 가장 큰 줄기는 주변의 경쟁 환경변화, 그 중에서도 글로벌화 경쟁체제에 살아남는 것이 주된 이유이다. 이를 메가트렌드(Megatrend)라 부를 수도 있겠다. 내 책상 앞에서 세계의 모든 정보가 오고 가는 시대 앞에서 더 이상 기업은 자신의 데이터만 바라볼 수 없고 현재의 업무 형태만을 고수할 수 없다.
▲ 주요 규약 및 규제 사례
▲ 주요 규약 및 규제 사례
기업뿐만이 아니라 정부간에도 각종 규약과 기준을 준수해야만 자국의 이익을 보존할 수 있는 시대에 직면해 있다. 이들 규제 대응(Compliance)이야 말로 글로벌 경쟁체제화의 증표이다. 이제 우리는 세계가 단일 경제권과 시장으로 형성된 체제에 적응하지 않으면 안 되며, 세계의 글로벌 기업들은 이미 저 만치 앞서서 지금 막 준비중인 우리를 기다리고 있다. (무서운 상황이다!)
금융권 변화를 주도하는 각종 사례
금융권을 들여다보자. 1998년 IMF 외환위기 이후 부채비율을 맞추기 위해 ALM이라는 자산부채 관리 시스템을 필요로 했고, 이후 4년 전부터 신 자기자본 협약(바젤II) 등이 제1 금융권에 적용되기 시작한 후 증권사의 통합리스크관리시스템(ERMS)으로 이어졌다.
최근에는 우리나라의 국제자금세탁방지기구 (FATF) 가입을 목표로 금융권에서도 자금세탁방지(AML:Anti-Money-Laundry) 시스템 구축이 진행 중이며, 자본시장통합법에 따라 은행과 투자사의 경계가 허물어진 투자은행(IB)을 지원하는 IBMS 시스템과 자본시장의 자유무역협정(FTA)이라고 할 수 있는 국제회계기준(IFRS)이 전 세계 110여 개 국이 시행하거나 준비 중인 상태에서 우리나라도 2011년까지 금융기관 및 모든 상장사에 대해 이 기준을 도입하도록 하고 있다.
이들 각각의 시스템 구축의 범위나 깊이가 그리 만만치 않은 것은 금융전문가라면 누구나 느낄 것이다. 금융상품의 포트폴리오는 늘어난 반면 리스크 관리 기법 및 기준은 더욱 복잡하고 금융사 마다 강조하는 비즈니스 부문에 따라 차별화된 시스템들이 만들어질 것이다.
그 외에 의료, 공공, 국방, 통신, 제조, 유통 등 다른 산업에도 정보효율화 촉진법, 외감법, 기록물관리, 데이터보호 기준 등 다양한 규제와 기준들이 또 다른 형태로 나타나고 있다.
이러한 비즈니스 변화뿐만 아니라 기술의 변화가 사회 전체를 바꾸고 있다. 핸드폰 사용의 확대로 시계 업체가 문을 닫아야하는 상황을 누가 예측했겠는가? IT 분야도 예외가 아니다. HTML에서 Java, Active-x, RIA(Rich Internet Application), Framework, XML, UML, CBD, SOA, BPM, EAI, Ontology, Semantic WEB, 상 품 Factory, MDM, IP-TV등 의 convergence … 용어의 이해만 해도 벅찰 지경이다.
변화에 대응하기 위한 데이터 처리기술
위에서 집어본 변화의 사례들은 우리 전산쟁이에게 무엇을 준비해야 할지에 대해 분명히 나타내고 있다. 현재까지의 데이터를 앞으로 다가올 변화에 맞는 새로운 틀로 다시 꿰 맞춰야 하고 여기저기 흩어진 다양하고 방대한 데이터를 실시간으로 다루어야 하며, 당일 발생한 모든 기록들을 모아 밤새 신속 정확하게 정리하여 다음날 아침이면 요약 정리된 정보가 사용자에게 제공되는 시스템으로 거듭나게 하는 것이 바로 IT 갱생의 준비기간인 차세대 시스템 구축 프로젝트이며, 여기서 중요한 것이 데이터 처리이다. 애플리케이션은 상황에 따라 바꿀 수 있어도 과거의 데이터는 쉽게 버리지 못한다.
이 데이터를 누가, 어떻게 만들었고, 어디서 쓰여지는지 명확하지 않은 상황에서 역사의 증거물을 어떻게 쉽게 버리겠는가? 고객 데이터가 곧 자산이라는 말은 CRM을 통해 귀가 따갑게 들었을 것이다. 비즈니스가 어떻게 변해도 데이터를 잘 관리하고 활용할 수 있는 기반을 갖추는 것이 기업 IT 부서의 가장 주요한 임무이다.
우리는 앞서 말했던 메타트랜드에 따라 데이터 갱생의 작업을 수행하여야 한다.' 현재까지의 데이터를 앞으로 다가올 변화에 맞는 새로운 틀로 다시 꿰 맞추는 것'을 데이터 전환(Data Migration)이라 하며 여기저기 흩어진 다양하고 방대한 데이터를 양질의 데이터로 재정비 하는 작업을 데이터 통합(Data Integration)이라 한다.
이를 위해 데이터의 표준을 제정하고 관리체계를 마련하여 지속적으로 유지시키는 방안으로 Metadata 관리시스템을 활용하거나 데이터품질관리 시스템 등을 구축하기도 한다. 더 나아가 아예 운영계, 정보계를 망라한 통합 마스터 데이터 관리시스템(MDM)을 주요한 백 엔드 시스템으로 갖춰 놓는 기업도 있다. 당일 발생한 모든 기록들을 모아 밤새 컴퓨터로 신속 정확하게 정리하여 다음날 아침이면 요약 정리된 정보가 사용자에게 제공되게 하기 위해 고속의 데이터 배치처리가 필요하며 이는 대용량 데이터 허브의 구축을 통해 데이터 공급 단계를 줄이고 배치작업 시간을 획기적으로 개선시키는 아키텍처로 전환케 하였다.
이상 일련의 과정들은 모두 우연히 생겨난 것이 아니라 결국 세계화의 물결 속에서 급격히 변화하는 기업경영환경에 의한 필연이며, 결국 우리 IT는 기업의 성공과 번영을 위한 매출 증대와 수익증대를 이끄는 실질적인 경영 가치 창출자로서의 역할을 위하여 지금의 모습에서 변화를 하여야만 한다. 이후 연재되는 기고를 통하여 변화가 필요한 각 부문에 대해 좀 더 심도 있게 접근하고자 한다.