[아이티데일리] 우리는 현재 ‘데이터 경제’ 시대를 살고 있다. 기존 산업과 ICT가 융합하는 4차 산업혁명의 특징은 ‘데이터 혁명’이며, 데이터를 매개로 한 새로운 생태계인 데이터 경제의 중요성은 날로 커지고 있다. 그러나 필요한 시점에 적합한 데이터를 완벽히 찾아내는 일은 쉽지 않다. 최근 포레스터 컨설팅(Forrester Consulting) 조사에 따르면 기업의 약 70%는 데이터 큐레이션에 상당한 시간을 할애하는 것으로 나타났다.

‘마이데이터’ 시대, 데이터 활용이 핵심

올해 3월부터 ‘마이데이터(본인정보활용지원)’ 시장이 본격적으로 열린다. 마이데이터(Mydata)는 소비자 개인이 자신의 정보를 적극적으로 관리, 통제하고 이러한 정보를 신용이나 자산 관리에 활용할 수 있는 서비스다. 각종 공공 및 금융 기관 등에 흩어져 있는 개인 정보를 한꺼번에 확인할 수 있으며, 마이데이터 사업자에 제공해 맞춤 상품이나 서비스를 추천받을 수 있다.

마이데이터 사업은 개인 데이터의 개방으로 데이터 확보가 용이해진 신규 기업이 성장기회를 잡을 수 있을뿐만 아니라 새로운 비즈니스 모델도 등장할 것으로 전망된다. 특히 가명정보를 신용정보 주체의 동의 없이도 이용, 제공할 수 있게 됨에 따라 개인정보 유출 우려는 줄이고, 기업은 데이터를 다양하게 활용하는 방법을 모색할 수 있다.

마이데이터와 같이 데이터 중심의 비즈니스 영역이 확장되고 데이터 활용에 관심이 높아지고 있지만, 데이터를 어떻게 관리하고 인사이트를 도출할지 고민하는 기업은 여전히 많다. 기존 데이터만 가지고는 트렌드를 찾기 어렵고, 다양한 형태의 데이터에서 가치를 창출하기가 쉽지 않기 때문이다. 또한 민감 데이터를 외부와 공유하는 과정에서 오류가 발생하면 대형 사고로 이어질 수도 있다. 따라서 데이터 활용 전략에 앞서 데이터 준비를 위한 과제 해결이 우선이다.

여기서 가장 중요한 것은 ‘기술’이다. 그렇다면 기존 기술을 모두 섭렵하면 방대하고도 다양한 형태의 데이터에서 가치를 찾을 수 있을까? 새로운 트렌드의 비즈니스를 시작하고 마이데이터 사업 등을 마케팅에 활용하기 위해서는 데이터 유형 역시 새롭게 정의돼야 한다. 기존 시스템으로는 어려운 작업이 될 수도 있다. 이를 해결하기 위해 필요한 것이 바로 머신러닝 기반의 데이터 카탈로그다.

머신러닝 기반 데이터 카탈로그

데이터 카탈로깅은 기업 데이터를 분석하고 활용하기 위해 반드시 거쳐야 하는 작업이다. 수작업으로는 양과 속도, 정확성을 만족시킬 수 없어 최근 자동화에 대한 요구가 높아지고 있다. 기업들은 분석과 의사결정을 위한 빅데이터 활용이라는 측면에서 머신러닝 기반 데이터 카탈로그를 활용하면 경쟁사보다 유리한 위치를 점할 수 있다.

데이터 카탈로그는 기업 내 조직과 시스템에 산재한 서로 다른 속성의 데이터를 AI로 빠르게 파악해 데이터의 정리·통합·관리를 용이하게 해 준다. 엣지 기기부터 데이터센터, 멀티 클라우드에 걸쳐 데이터 레이크 관리, 중복·복제 데이터 식별을 통한 데이터 분류, 데이터 계보 분석, 민감 데이터 검색, AI·머신러닝을 통한 태깅 등을 지원한다.

AI기반의 자동화 태깅을 통해 다양한 데이터(HDFS, HIVE, JDBC)에서 사용자가 원하는 데이터의 검색이 가능해지면, 지식의 양이 증가하고 수작업이 줄어 데이터 품질이 향상된다. 반면 데이터 출처가 분산되면 비즈니스 사용자가 올바른 맥락에 기반한 정보를 추출하기 어렵다. 태그되지 않은 데이터가 검색에서 누락되면 불완전한 정보를 바탕으로 의사결정을 내릴 수밖에 없다.

따라서 데이터 엔지니어, 분석가, 비즈니스 사용자들에게는 취합된 정보를 공유할 수 있는 공통의 플랫폼이 제공돼야 한다. 그렇지 않으면 정보가 사일로에 산재돼 업무가 중복되고 부정확한 결과가 발생한다. 데이터 카탈로그를 활용하면 기업의 민감 데이터를 자동으로 감지, 태그 지정, 보호하고 민감 데이터 유무 확인이나 데이터 유형 확인 등 셀프 서비스 분석이 가능하다. 추가 처리가 요구되는 민감 정보(개인정보 등)를 빠르고 신뢰할 수준으로 관리할 수 있다.

금융산업을 중심으로 확장 모색

금융·핀테크 기업들이 마이데이터 서비스에 필요한 데이터 공유와 결합을 위해 하루 최대 수천만 건에 달하는 금융거래 데이터를 수작업으로 처리하면서 민감 정보를 문제없이 다루는 일은 불가능하다. 데이터 카탈로그 솔루션이 절대적으로 필요한 이유다. 특히 기업에서 주소, 신용카드 번호 같은 데이터를 다른 방식으로 기록하는 일이 많은데 외부 데이터까지 공유·결합되면 복잡성은 더욱 커진다.

은행, 보험사 등 금융 서비스를 제공하는 기업들은 고객에 대한 깊은 이해를 필요로 한다. 개인 맞춤형 가치를 전달하기 위해 더 세밀한 통찰력을 갖고 서비스의 정체성을 관리해야 한다. 제품 사일로를 분류하고 스마트 알고리즘과 분석을 실행해 각 고객에 맞는 금융 서비스를 제공해야 한다. 데이터로부터 정밀한 인사이트를 도출해야 하는 금융권에게 해답은 ‘데이터옵스(DataOps)’다.

효성인포메이션시스템은 ‘루마다 데이터 카탈로그’를 통해 데이터옵스 환경을 지원하고, 데이터 비즈니스를 위한 스마트한 솔루션을 제시한다. 루마다 데이터 카탈로그는 수작업으로 발생하는 휴먼 에러를 최소화하면서 대규모 데이터를 신속하게 정리하고 통합한다. 특히 머신러닝 기반 ‘핑거프린트’ 알고리즘을 통해 수작업으로 하기 힘든 수많은 컬럼, 메타, 속성 등을 자동 분석하고 매핑한다.

루마다 데이터 카탈로그는 메타데이터를 자동화해 수작업 태깅으로 발생할 수 있는 생산성 저하 문제를 해결한다. 데이터 생산자와 소비자 간 협업을 위해 중앙 집중화된 플랫폼도 제공한다. 특히 커스터마이징이 가능한 개방형 아키텍처를 통해 사용자가 맞춤형 용어집을 기반으로 민감 데이터에 접근할 수 있다. 기존 아키텍처와도 간단히 통합돼 시스템 이해에 필요한 시간이 적게 들고, 풍부한 통찰력과 정보에 기반한 실질적인 비즈니스 성과를 얻을 수 있다.

루마다 데이터 카탈로그 솔루션은 해외 굵직한 데이터 프로젝트에 투입돼 진가를 발휘해 왔다. 국내에서는 도입 초기인 만큼 효성인포메이션시스템은 솔루션을 알리는 데 중점을 두면서, 마이데이터 사업을 펼치는 금융기관을 비롯해 대규모 데이터를 보유한 기업과 정부·공공기관 등을 적극 지원할 계획이다.