데이터 마이닝 프로젝트의 계산기와 분석전문가의 차이점
▲ 허 준 hoh@spss.co.krSPSS코리아 컨설팅팀 팀장이다
정부기관을 비롯해 많은 기업 들이 데이터 마이닝 프로젝트를 진행하고 있거나, 수행하였다. 각각의 조직별로 차이는 있겠지만 보통 데이터 마이닝을 통해 얻고자 하는 것은 대략적으로 몇 가지가 있고, 그 중 CRM과 연결하여 많은 부분이 이루어지고 있다. 너무 잘 알려진 얘기이긴 하지만 이를 좀 정리해 보면 다음과 같다.
위의 <표 1>을 통해 정리된 데이터 마이닝의 주제들 중 비 CRM 분야는 잠시 뒤로 미루고 머리 속에 CRM 분야에서 주로 활용되는 일반적인 마이닝의 주제들을 기억해 두고 다음의 <표 2>를 보자. <표 2>는 일반적으로 CRM 프로젝트를 할 때 솔루션(또는 기능)등을 분류한 것이다.
위의 도표에서와 같이 데이터 마이닝은 분석 CRM의 한 영역으로 되어 있는데 DW/OLAP과 같이 데이터 마이닝이 분석 CRM 분야에 포함되어 있는 것은 사실 데이터 마이닝 자체가 분석이 주가 되기도 하지만, 궁극적으로 보면 데이터 마이닝 솔루션(프로그램)때문이기도 하다.
▲ <표1> 데이터마이닝의 주제
즉, CRM 프로젝트의 사상 자체가 솔루션(프로그램)에 중심적이기 때문에 유사한 데이터 베이스 분석에 가까운 DW/OLAP과 데이터 마이닝이 같은 영역에 들어가 있게 된다. 그러면 이것이 잘못 되었다는 뜻인가? 그렇다는 것은 아니다. 그러나 이제부터 <표 1>과 <표 2>의 도식을 확실히 기억해 두고, 다음 질문에 답해보자.
첫째 : 데이터 마이닝의 주제와 CRM 전략 컨설팅의 주제에 차이가 있는가? 있다면 무슨 차이인가?
둘째 : OLAP 개발자와 데이터 마이닝을 하는 마이너와 CRM 전략컨설턴트들의 차이점은 무엇인가?
셋째 : 위의 질문에 대한 나름대로의 답이 있다면 그 답을 충족하기 위해 마이너들은 어떤 능력을 보유해야 하는가? 그리고 마이너의 업무 범위는 어디까지인가?
▲ <표2> CRM 프로젝트 분야별 솔루션
정확히 답을 얘기할 수 있겠는가. 여러분들은 어떠한가. 데이터 마이닝을 수행하기 위해선 좋은 솔루션(프로그램)과 다양한 분석 기법들이 필요하지만, 궁극적으로 그 모든 것은 사실 마이너라는 마이닝을 직접 수행하는 사람들에게 달려있다(그것이 내부의 인물이든 또는 외부의 아웃소싱 인력이든). 실질적으로 데이터 마이닝 프로젝트를 하다 보면, 마이너에게는 상상 이상의 과도한 요구를 하거나 반대로 매우 단순한 업무만 하게 하는 등 마이너를 생각하는 관점이 저마다 다름을 알 수 있다.
하나씩 짚어보면, 분명 마이너는 일반적인 기술자들과는 다르고, 데이터 마이닝도 일반적인 분석 CRM과 다르다. OLAP이나 웹 리포트는 무엇인지 알겠는데 마이닝은 도대체 맨 끝에 무엇을 보여주는 것인지 모르겠다는 관련 업계 사람들의 말에서부터 그것을 느낄 수 있다. 마이너들은 과연 무엇이 다르고, 무슨 능력을 가져야 하는지에 대하여 이제부터 생각해 보자.
본론
1. 주제의 심도 차이 때문에 마이너는 더 많은 능력을 보유해야 한다.
다음 <그림 1>은 각종 분석 방법(또는 솔루션)을 통해 얻어낼 수 있는 정보 깊이의 차이를 나타내는 아주 유명한 그림이다.
▲ <그림1> 여러 분석방법을 통해 얻을 수 있는 정보 깊이의 차이
<그림 1>에서 보는 바와 같이 데이터 마이닝은 겉으로는 보이지 않지만 좀 더 깊이 있고, 심도 있는 정보를 캐내는 작업이다. 예를 들어 이탈고객 분석이라는 주제를 놓고 보면, OLAP은 월별 이탈고객 수, 월별/성별/지역별 이탈고객 수 등 다양한 집계/교차표를 출력시키는데 반해, 데이터 마이닝은 이런 사항은 기본이고, 현재 유지고객 중 이탈 가능성이 있는 고객을 찾아내, 그들의 이탈 가능 확률까지 계산해 낸다.
OLAP에서 가장 중요한 것은 실제 현상을 다양한 관점에서 보여주는 여러 카테고리를 효율적으로 배치하여 퍼포먼스(속도)를 높일 수 있는 DB 모델링 기술이다. 그러나 데이터 마이닝은 단순히 데이터 마이닝 기술만 필요한 것이 아니라 상당한 비즈니스의 이해와 고차원적인 분석기법 능력을 보유해야만 한다(고차원적이라는 것이 어찌 보면 OLAP을 하위 기술로, 데이터 마이닝을 상위 기술로 취급하는 표현이 될 수 있으나 그런 점은 아님을 밝혀두며 별달리 좋은 표현이 없기에 사용한 용어다).
데이터 마이닝에서는 가능성을 예측하고, 그 가능성을 수치로 계산해 내기 위해 통계기법과 AI(Artificial intelligence: 인공지능) 기법을 더 습득해야 한다. 이것은 데이터 모델링을 통한 기본 데이터 마트의 구성 및 탐색 능력이 기본으로 갖추어진 다음에 추가적으로 더 가져야 하는 사항이다. 위의 그림에서와 같이 단순하게 생각해도 더 깊이 있는 정보를 캐내기 위해서는 더 많은 노력이 필요할 것이다.
그러나 문제는 더 많은 정보를 캐내기 위한 노력의 함수는 단순 비례함수가 아니라는 것이다. 즉 100의 정보를 얻기 위해 드는 노력이 10이었다면, 200의 정보를 얻기 위한 노력은 20이 아닌 40 또는 60으로 더 깊이 있는 정보를 얻기 위해 갑절의 노력을 해야 한다. 마이너는 동일한 주제로부터 마이닝을 통한 더 심도 있는 정보를 얻기 위해 기본적인 데이터 모델링 능력 외에 각종 분석기법을 더 습득해야 하는 것이다. 마이너가 가져야 하는 기술 능력에 대해서 정리하면 다음 <표 3>과 같다.
▲ <표3>마이너가 가져야 하는 기술 능력
위에서 언급한 기술들을 전부 보유하기에는 너무 벅차다고 할 수도 있고, 저것을 다 할 줄 알면 내 연봉은 지금의 몇 배를 받아야 한다는 한탄의 소리가 있을 수도 있다(사실 미국에서 마이너들의 연봉은 대단히 높다고 한다). 물론 모든 분석기술과 DB 관련 기술을 전부 완벽하게 알 수는 없지만, 최소한 마이너들은 저 모든 기술들에 관심을 가지고, 자신이 마이너의 일을 그만 두는 순간까지 계속적으로 연구하고, 공부하는 노력이 필요한 것만은 사실일 것이다. 즉, 최소한 내가 저 기술의 능력 중 부족한 부분이 있어 그 부분만큼은 아웃 소싱을 활용한다고 해도, 아웃 소싱 인력과의 원활한 커뮤니케이션과 내가 잘 하는 기술과의 접목을 위해 최소한의 이해력은 반드시 보유해야 한다는 의미일 것이다.
2. 마이너는 전체적인 전략과 비즈니스에 대해 이해를 해야 하고, 일부 수행도 할 수 있어야 한다.
앞서 서론에서 마이너와 전략 CRM 컨설턴트와의 차이가 무엇이냐고 질문을 하였다. 단순하게 생각하면 전략 CRM 컨설턴트의 경우 전체적으로 CRM이 나아갈 방향과 현재 기업 또는 조직에서 고려하는 우선순위 등을 정해서 각 요소기술(마이닝을 비롯하여 DW/OLAP, 캠페인 등)들이 해야 할 업무 및 초기 단계 설계를 하고, 마이너는 전체 CRM의 전략에 따른 하나의 요소 기술로서의 역할만 하면 된다고 할 수 있다.
아주 그럴듯한 설명이라고 할 수 있는데, 이면을 보면 그렇지가 않다. 예를 하나 들어보자. 어떤 기업에서 매출 데이터가 있다고 해보자. 단순히 집계 상에는 일별 매출을 더해서 월별 매출의 합계가 되는 아주 상식적인 데이터이지만 자세히 속을 살펴보면 월말에 각종 월말 성과를 위해서 가수요, 가판매 등 허수의 데이터를 만들어 전산상의 매출만 잡고, 그 뒤에 매출취소, 전환을 해버리는 사례들이 있을 수 있다(사실 이런 사례를 실무에서 찾는 것이 그리 어려운 일이 아니다).
물론 얼마만큼의 가수요와 가판매가 있었는지 데이터화 되어져 있는 것은 없고, 다만 오랜 경험자들의 추측만이 있을 뿐이다. 이런 상황에서 OLAP과 리포트 분석에서는 월별 매출 분석을 보여줄 때, 회사의 한 해 월별 매출 추세표 또는 영업 지점별 월별 매출이라던가 해외 수출과 내수 시장의 월별 매출 장표들을 있는 그대로 잘 보여줄 것이다. 그러나 그것은 당연히 허수 값인 가수요와 가판매가 들어간 데이터이다. 따라서 일별 데이터를 보면 항상 월말에는 지나치게 매출이 높은 것이 정례화 된 패턴이 되는 경우가 많을 것이다.
물론 이것에 대해서 어느 누구도 OLAP과 Report 시스템이 잘못 되었다고 말하지 않을 것이다. 있는 데이터를 충실히 잘 보여주었기 때문이다. 그러나 데이터 마이닝에서는 다르다. 이런 허수 데이터를 이용하여, 모델링을 하는 경우 모델링의 결과를 어느 누구도 믿지 않는다. 예를 들어 수요예측에서 가수요 등에 대한 보정 없이 단순히 있는 데이터 그대로 분석을 하여 향후 이만큼 수요가 있을 것이라고 예측을 하면, 업계 종사자들에게 비웃음만 살 뿐이다.
그러므로 데이터 마이닝을 할 때에는 CRM 전략 컨설턴트만큼의 해당 조직의 전략과 비즈니스에 대한 아주 상세한 이해와 커뮤니케이션을 필요로 한다. 즉 전략을 기획하지는 않더라도 그것을 상세히 이해하고, 심지어는 문제가 있는 경우 반박을 할 수 있는 논리성까지도 갖추어야 한다. 만약 이런 능력이 없다면, 실무에서 데이터 마이닝을 궁극적으로 할 수 없다고 단언할 수도 있을 것이다. 어느 누가 회사 비용을 들여 수행하는 데이터 마이닝에서 뻔히 드러난 오류를 내는 것을 좋아하겠는가?
원하든 원하지 않던 마이너에게는 사실 숙명적으로 데이터 마이닝을 수행하는 기업과 조직의 각종 세부적인 비즈니스 이해와 어쩔 수 없이 발생하는 각종의 상황들, 공개할 수 없는 비하인드 스토리를 반드시 알아서 실제 드러난 데이터 분석뿐만 아니라 보이지 않는 숨은 허수를 반영한 데이터를 가지고 분석할 수도 있어야 한다.
전략 부분도 생각해 보자. CRM의 핵심 전략이 만약 고객의 이탈 방지라는 최종안으로 만들어 졌다면, 다음에는 이를 요소 기술들이 이탈방지에 도움이 되는 구체적인 모델링을 만들어야 한다. 당연히 전략에서는 어떤 정보가 필요하고, 그 정보는 어떤 요소기술에서 제공해야 한다고 정해지게 된다. 여기서 마지막 최종 깊이의 정보를 줄 수 있는 것이 바로 데이터 마이닝이 되는 것이 일반적인데, 이 데이터 마이닝이 만약 데이터의 부족 등으로 정보를 줄 수 없다면, 당연히 전략은 일부 수정이 되어야 한다. 구체적인 근거 또는 정보 없이 전략을 수행할 수 없기 때문이다.
이미 전략 및 로드 맵이 다 나온 상태에서 데이터 마이닝 등의 요소 기술이 그런 것을 감당하지 못하거나 힘들다고 한다면, 간단하게는 시간의 상당한 손실을 유발하고, 크게는 조직 간에 상당한 반목을 일으킬 수도 있다. 그러므로 궁극적으로 전략 CRM을 수립하는 단계에서도, 마이너는 최소한 옵서버 또는 일부 전략 수립/검토자로 참여를 해야 2중 작업이 없게 된다.
물론 CRM 전략 컨설턴트가 데이터 마이닝에 대하여 아주 상세하게 알고 있고, 도입되는 S/W 등에 대해서도 잘 알고 있다면 문제가 되지 않을 수 있으나, 전략 CRM 컨설턴트가 모든 사항을 잘 알기가 매우 어렵기 때문에 마이너의 참여는 일반화된다. 따라서 마이너에게는 비즈니스를 이해하고, 전략에 대해서도 이해와 조언 및 참여를 할 수 있는 능력이 요구된다. 단순히 마이너가 기술만 보유하고 있다면, 이는 미사일은 가지고 있으면서 미사일 발사대가 없는 아주 황당한 일을 당할 수도 있다.
▲ <그림2> 마이너의 위치
위의 2가지 내용을 종합하여 마이너의 위치를 정리해보면 <그림 2>와 같다.
<그림 2>에서와 같이 마이너는 복합적인 기능을 해야만 하는 쉽지 않은 위치이며, 그와 동시에 양쪽을 전부 참여할 수 있는 능력도 필요하다.
3. 마이너… Calculator와 Analyst 사이에서의 줄타기
앞 글에서 마이너는 매우 넓은 영역에서 많은 기술 능력을 가질 것을 요구한다고 정의를 하였다. 그러면 국내에서 마이너의 현실은 어떠할까? 이는 2가지 시선이 있을 것이다. 즉, 외부에서 마이너를 바라보는 시선(시선의 의미에는 어떤 역량을 가지고 원하는 역할을 해주겠지라는 기대와 동일한 의미일 것이다.)과 마이너 내부의 시선이라고 할 수 있다. 내부의 시선이란 내가 하는 일의 정도는 이 정도라는 자신의 능력 한계 또는 업무 한계선이라고 정의할 수 있을 것 같다.
보통 외부와 내부의 시선이 다른 경우가 많아 이 차이를 줄이거나 합의점을 도출하자는 등의 문제가 발생할 수 있는데, 마이너를 바라보는 시각은 외부와 내부가 비슷하다는데 문제가 있다. 비슷한 것이 왜 문제가 되는가 하면, 시각 자체가 너무 좁다는 점이 문제가 되는 것이다. 제목에서도 언급한 계산자(Calculator)가 바로 그것이다. 즉, 현재 국내에서 데이터 마이닝 프로젝트를 보면, 마이너는 계산자라는 시각이 공통적으로 어느 정도 존재하고 있다.
'Calculator'란 의미는 영어의 의미 자체로 단순한 계산만 하는 계산기, 오퍼레이터라는 의미다. 즉, 데이터 마이닝을 수행함에 있어, 비즈니스에 대한 사상과 그 의미를 이해하고 난 후에 다양한 기법을 통한 최적화된 모델을 개발하고, 이 모델을 이용한 향후의 활용까지 생각하는 분석전문가의 역할보다는 단순히 무슨 주제에 대하여, 그 문제를 수리적 기법을 이용하여 풀어주는 사람으로 인식하는 것이다. 마치 내가 원하는 것을 얘기하면, 그것을 그대로 만들어주는 프로그래머와 동일시되는 경향이 있다. 마이너들 자체적으로도, 업무의 과다량 등으로 인하여, 그냥 시키는 것만, 그냥 나타나는 것만 하는 계산기 업무를 은근히 반기고 있을 수도 있다.
사실 기대가 계산기 수준이라면 실제로 그 정도만 하면 된다. 안 해도 되는 일은 굳이 할 이유는 없기 때문이다. 그러나 데이터 마이닝에서는 상당히 실패를 볼 경우가 많다. 즉, 진정한 분석전문가가 아니면 데이터 마이닝 자체는 정말 돈만 들이고, 아무데도 쓰지 못하는 시스템이 되 버리기 십상이다. 같은 분석 CRM 시스템인 OLAP이나 리포팅 시스템보다 더 많은 리스크를 가지고 있다고 할 수 있다. 그럼 분석전문가와 계산자의 단편적인 예를 들어보자.
고객 이탈 모형이라는 주제를 가지고 데이터 마이닝이 가능 고객을 예측하는 정확도를 볼 때 마이너들의 가장 큰 의무는 현재 주어진 환경에서 가장 적합도가 높은 모델을 생성해 내는 것이다. 그러기 위해서 마이너들은 완벽한 비즈니스 이해와 데이터의 이해(심지어는 외부 데이터의 연결 가능 여부까지 고려한 이해)를 통해 다양한 모델링 분석 방법을 이용해 마지막으로 최종 적합 모델링을 도출해 내야하며, 도출된 모형의 활용까지 같이 고민을 할 수 있어야 한다. 이것이 진정한 분석전문가라고 할 수 있다. 하지만 계산자는 '내가 이 모델 돌려보았더니 결과가 이렇고, 다음엔 무엇을 돌려볼까? 내가 할 줄 아는 분석기법은 이것까지이다. 그러니 내가 어떻게 할지를 정확하게 업무 요건을 정해서 달라'고 한다.
▲ <표4>계산자와 분석 전문가의 차이
위의 얘기를 보면 계산자가 문제가 없어 보일 수 있다. 그러나 실무에서는 마이너에게 정확한 업무 요건을 지시해주고, 사용해야 할 분석 기법을 제시해 주며, 그에 따른 평가를 정확히 내려줄 수 있는 사람이 적거나 거의 없다. 사실 이 논의에서 이런 사람들이 보편적으로 많다면, 마이너는 계산자가 되어도 좋을 것이다. 즉, 실무에서 개념만 가진 분석의 주제들을 구체화, 계량화 시키는 것이 마이너의 몫이라면, 마이너는 필연적으로 다양한 분석기법을 항상 연구해야 하고, 그리고 이를 비즈니스 적으로 이용할 수 있는 컨설턴트가 되는 것은 힘들더라도 필수적이라는 얘기이다. 물론 시장에서 마이너의 대우는 그에 상응한 보답을 받을 수 있는 구조가 되어야 하는 것은 말할 필요도 없다.
데이터 마이닝 프로젝트를 하다 보면 정말로 같은 프로젝트에서 여러 명의 마이너들 중 계산자와 분석전문가가 공존하는 경우가 많다. 마이너 본인들도 자신이 계산자가 될지 분석전문가가 될 지의 갈림길에서 방황하는 것도 사실이다. 물론 궁극적으로 계산자들은 시장에서 도태될 것이다.
결론 / 적극적이고 능동적인 자세
위 본문의 내용을 필자에게 자문했을 때 자칫 부끄러워 질 때가 많은 것도 사실이다. 그럼에도 이렇게 마이너의 역할과 자질을 계속적으로 무겁게 이끌어 가는 것은 안타까운 데이터 마이닝의 현실 때문이기도 하다. 데이터 마이닝은 단순한 집계와 교차표 및 그래프를 이용한 탐색적 분석을 하던 기존의 분석방법에서 분명히 더욱 발전한 기법이다.
하지만, 이 발전된 분석기법이 전파되는 것이 비교적 느리고, 전파가 되서 뿌리내리는 것은 너무 힘들다는 현실이 먼저 마이너의 역할과 능력을 좀 더 높게 요구하는 이유가 되었다. 물론 데이터 마이닝이 잘 되기 위해서는 조직 구성원들(일명 현업)의 협조 및 기본적인 이해와 분석의 대상이 되는 Data의 완비, 시장에서의 각종 성공 사례들이 수반되어야 함은 말할 것도 없다. 그러나 이들을 해결하기 위한 해결책은 사실 없어 보일 정도로 막막한 것도 사실이다(미래에는 나아질 것이라는 희망만이 해결책일까). 이런 시점에서는 마이너들이 좀 더 발전해서 데이터 마이닝을 더욱 활성화 시켜보는 것이 중요하다.
마이너들의 더욱 적극적이고 능동적인 자세와 데이터 마이닝 기법에 대한 더욱 더 많은 연구 및 정보 공유는 데이터 마이닝 시장에 활력을 가져다 줄 것이다. 이것은 마이너의 생존권 문제와 직결될 수도 있다. 현업이 모르거나 안 도와주고, 데이터가 형편없다는 이유와 이를 해결할 수 없다는 생각으로 마이너 내부적인 역량 강화를 도외시 한다면 스스로 올가미를 매고 추락하는 결과를 자초할 뿐이다.
이런 일을 방지하기 위해 마이너들은 혹여 가졌을 계산자의 근성을 버리고 진정한 분석전문가가 되는 것을 다시 한 번 다짐해 보았으면 한다. 이런 분석전문가가 되기 위한 다양한 분석 기법의 연구, 그리고 비즈니스의 이해와 전략에 대한 컨설팅을 할 수 있는 능력을 배양하는 것을 게을리 하지 않았으면 한다. 물론 시장 또는 마이너를 바라보는 외부의 시각 역시 마이너에게 진정한 기대를 다시 한 번 걸어봐 주기를 바라고, 그에 걸맞은 대우를 해줄 준비가 되어야 한다고 본다. 데이터 마이닝을 하는 사람들은 분석전문가 마이너가 되기는 매우 힘들겠지만, 이 사회에서는 진정 필요로 하고 있다.
필자 : 허 준
SPSS코리아 컨설팅 팀 팀장이다.
허 준
hoh@spss.co.kr