얼마 전 페이스북에 링크된 기사 하나를 보다가 2014년의 빅 데이터 트렌드에 있어서 핵심이 되는 다섯 가지 키워드들에 클라우드 컴퓨팅, 모바일 등이 포함된 것을 본 적이 있다.

물론 그 안에 들어 있었던 예측 분석(Predictive Analytics)이 이제는 아웃사이더가 아닌 메인스트림이 된다는 이야기였다. 물론 이 이야기는 우리 나라 안에서 나온 우리 나라 안의 이야기는 아니었다. 수많은 기사들이 쏟아져 나오고 있는 것이 우리 나라에서도 빅 데이터와 관련된 현상인 것이 사실이지만 의외로 예측 분석에 대한 관심은 그리 크지 않은 것 같다.

그렇다면 이 분위기가 정상적이고 균형적인 것일까? 우리가 많이 낙후된 것은 아닐까? 많은 우려들이 빅 데이터 열풍과 관련해 나오고 있다. 지난 2~3년간 시장을 끓게 했던 빅 데이터가 정작 무엇을 줄 것인가에 관해 걱정하는 목소리들이다. 개인적인 생각으로는 그 안에 한 가지 열쇠가 바로 예측 분석이라고 보인다. 결국 우리가 축적하고자 하는 많은 그리고 다양한 데이터는 과거가 아닌 분명 과거와는 다를 ‘미래’의 문제를 해결해줄 수 있으리라는 기대 때문에 투자한 결과물이기 때문이다.

 

한편 빅 데이터와 함께 주목 받기 시작한 단어 하나가 또 데이터 사이언티스트라는 생소한 것이었다. 그 역량에 대한 무수한 논란을 뒤로 한다고 하더라도 또, 한 사람으로는 불가능하니 팀이 해결해야 하는 것이 아닌가라는 지적도 넘어서서, 이 빅 데이터의 열풍에서 정작 실제로 데이터 사이언티스트는 어떤 역할을 해야 하는가도 짚어볼 필요가 있어 보인다. 과연 예측 분석은 빅 데이터와 어떤 관계를 가지며, 어떤 비중을 가지고 있는가 살펴봐야 할 필요가 분명히 있다고 생각한다.

 

이미 1990년대 데이터마이닝이 개념적으로 도입되면서부터 예측 분석 프로젝트 시도가 이루어져왔던 것이 사실이다. 이어 수 년 내에 대대적인 실패 사례들이 공공연히 알만한 사람들 사이에 회자되었다. 되지 않을 예측을 한다고 하다가 결국 안되었다는 식이다. 이 이야기를 나눈 이들은 주변인들도 아닌 예측 분석 업무에 직접 참여한 사람들이었다. 원인에 대해 생각해 보면 예측 분석용 소프트웨어는 도입되고 보급되었으나 정작 예측 분석을 수행할 수 있는 경험과 기술력을 가진 인력은 확보되지 못한 상황에서 무리하게 프로젝트들이 추진되었던 것이 가장 컸다고 보인다.

특히 많은 적용이 이루어졌던 마케팅 분야에서만 하더라도 현업의 마케팅 부서들에서도 예측에 대한 구체적인 이해는 없는 상태에서 환상적인 턴키(Turn-key) 솔루션을 요구했다. 이는 예측 분석의 소프트웨어도 하드웨어도 아닌 독특한 특성을 전혀 이해하지 못했기 벌어진 해프닝이라는 생각이다. 이후 수년에 걸쳐 예측 분석은 암흑기를 보냈다. 최근의 빅 데이터 열풍이 일어나기 이전까지 예측 분석을 입에 담는 사람은 정신 나간이 취급을 받기도 했다. 논리로 설명할 수 없는 상황이라고 밖에는 보이지 않았다.

 

 

따지고 보면 조직의 경영진의 이해도 부족도 크게 한몫을 했던 것 같다. 대체 예측이 가능하기는 한 것이냐는 식의 생각을 가진 경영진들과 반대로 예측을 통해 무제한의 정보를 100% 정확하게 생산해내는 것이 당연한 것이 아니냐는 식의 경영진들, 두 종류의 황당한 분들을 만나는 것이 아주 흔한 일이었다. 현실적인 관점에서 데이터가 할 수 있는 일이 어디까지이고, 어떻게 그 완전하지는 않지만 유용한 정보를 활용할 것인가를 생각하는 경영진을 찾기는 참 어려웠다.

물론 실무진들 즉, 마케팅이나 기획부서들의 경험이나 이해도, 역시도 수준이 낮았던 것이 사실이다. 앞서 적용되었던 유사한 구체적 해외 사례들도 충분히 검토하지 않은 상태에서 예측 분석을 도입하겠다고 나섰으나 정작 본인들이 직접 무엇을 하겠다는 의지는 부족했다. 사전적인 경험도 관련된 이론적 실무적 지식도 부족한 상태에서 진행되었으니 결과는 불을 보듯 명확했다. 너무 많은 것을 요구했고 결국 하나도 쓸모 있는 것이 나오지 않는 결과로 이어졌다.

한편 문화적 차이라고 부를 수 있는 부분도 중요한 이유중의 하나라 할 수 있다. 지나치게 세부사항에 집착하기도 했고, 예측 불가능한 비정상적 환경변화까지를 예측하겠다는 무모한 발상도 있었다. 대표적인 사례가 모 가전사의 용량별 냉장고 구매고객 예측 시도였던 것 같다. 아직 고객 데이터 조차 제대로 정비되지 않은 상태에서 세부 제품 단위의 예측 분석을 경험도 부족한 분석가들을 통해 단기간에 해내겠다는 시도는 그 도전에 대해 찬사를 보내기에는 너무나 과욕이 아니었는가 싶다.

 

조직 역량의 부족은 결국 나쁜 결과로 연결될 수 밖에 없었다. 정작 예측분석을 수행하겠다고 하면 그에 맞는 수준의 조직 규모를 갖추어야 한다는 점은 간과했다. 해당 부서에 서너 명의 인력이 고작인 상황에서 그것도 해당 업무를 담당하기 시작한지 한두 해도 지나지 못한 초보적인 수준의 인력들만을 가진 상태에서 전사적인 예측 분석을 시도하는 것을 쉽게 볼 수 있었다.

전문성의 부족도 지적하지 않을 수 없었다. 소위 갑이든 을이든 예측분석에 대한 전문성을 가진이를 찾아 보기 어려웠다. 학교에서의 배경이든 실무에서의 경험이나 세미나와 같은 비공식적인 공부 든 마찬가지다. 예측 분석을 위해서 실전적인 내용을 공부할 수 있는 대표적인 기회라고 할 수 있는, SAS가 미국에서 연례로 개최하는, M컨퍼런스에 한번이라도 참가해본 사람이 거의 없었다는 것이 구체적이고 단적인 증거가 될 수도 있을 것이다.,

 

미국이라고 완벽했다고 할 수는 없을 것이다. 그러나 미국은 적어도 마케팅 예측에 대해 상당히 오랜 역사를 가지고 있다. 오랜 동안 통신판매에서부터 다이렉트 마케팅을 위한 예측이 실무적으로 사용되어 왔다. 잘 알려진 RFM(Recency, Frequency, Monetary)도 이 과정에서 개발된 단순화된 예측모델링 방식이다. 많은 관련 컨퍼런스와 세미나가 열리고 예측 모델링 전문인력과 회사들이 무수히 존재한다.

수요예측에 대한 책도 나오고 학교에서 수요예측을 정규과목으로 개설해서 강의하는 것도 흔히 볼 수 있는 풍경이었다. 우리처럼 극단적으로 유행에 모두가 휩쓸리는 모습을 보기는 어려웠고, 모든 키워드들이 주목 받는 것과 동시에 테스트 되고 그 과정을 통해 다듬어져 가는 즉, 경험을 통해 시행착오에서 배우는 프로세스가 일상화되어 있으며 그 것이 예측 분석이라는 분야에 대해서도 마찬가지였다고 보인다.

대표적인 예가 바로 CRM(Customer Relationship Management) 분야의 경우이다. 과거 한번은 미국에서 온 한 스페셜리스트가 강연에서 미국에서는 운영 CRM의 확산이 먼저였고 상대적으로 분석 CRM의 확산은 더뎠음을 이야기했다. 그 시기에 이미 우리 나라에서는 분석 CRM을 경험하지 않은 큰 조직은 찾아보기 어려운 상황이었기에 듣는 내 자신이 충격을 받기도 했었다. 운영 CRM을 통해 데이터가 다듬어지는 과정을 거치지 않은 상태에서 예측 분석은 제대로 된 원자재를 공급받지 못하는 공장과도 같을 수 밖에 없음은 자명하기 때문이다.

 

급선무는 세미나나 컨퍼런스가 많아지야 하는 것이라고 생각된다. 그 과정에서 업종이나 분야별로 숨겨져 있는 다양한 성공과 실패 사례들이 공유되고, 해외의 실전 사례들과 이론적 실무적 지식들도 수입될 수 있을 것으로 기대한다. 그런 과정에서 국내 인력들과 조직들의 눈높이가 높아질 수 있을 것이다.

좋은 교육 프로그램들이 만들어져야 하며 실전적 경험과 지식을 많이 가진 ‘강사’들이 양성되어야 할 것이다. 그들이 예측 분석을 실제 비즈니스 가치 생산을 위해 효율적 효과적으로 적용하는 방법의 전파를 위한 중추적 역할을 수행할 것이다. 한 사람의 노력만으로 해결될 수 없는 전반적인 시스템의 숙제라고 생각하는 이유이다.

그렇다면, 누가 배워야 할까? 우선 실무에서 관련 분야를 담당하고 있는 사람들이 대상이 된다고 보인다. 국내 순수 국산이든 해외 솔루션 관련 업체든 관련 전문기업에서 분석과 연관된 업무를 담당하고 있는 분석가들(흔히 마이닝 담당자로 불리는)이 먼저 전문성을 키워야 한다. 그렇게 되기 위한 기반구조로 학교의 수준이 높아져야 한다는 점도 분명하다. 교수들 또한 실무적이고 신식인 방법들과 사례들, 툴들을 배워야 한다. 그래야 가르치고 확산 시킬 수 있다. 그렇게 된다면 대학원 박사과정 학생들이 배우게 될 것이고, 경영학이나 산업공학과 같은 실무적용에 매우 인접한 전공자들이 본격적인 예측 분석 적용에 앞장서서 강사로서의 역할이든 실무자로서의 역할이든 담당해 줄 수 있을 것이다. 상황은 과거에 비해 많이 좋아지고 있다. 유튜브 만으로도 시간만 투자한다면 많은 공부가 가능한 환경이 갖추어져 있다. 단지 영어 구사 능력과 관련 분야 기초 지식만 있다면 말이다.

 

지금부터라도 본격적인 준비만 이루어진다면(물론, 그렇게 쉬운 일은 아니지만) 수 년 내에는 여러 기업에서 과거와는 차원이 다른 본격적인 활용이 이루어질 수 있을 것이라는 것이 개인적인 의견이다.

인력도 양성되고 경험도 축적되고 북미지역과의 기술 격차도 상당히 좁힐 수 있을 것이다. 단, 이 과정에서 테스트베드를 제공하는 국내 기업들이 존재해야 하고, 적극적으로 뛰어드는 예측모델링 전문 스타트업들이 늘어가야 한다는 전제는 필요하다. 더불어 정부 주도의 정책적 측면에서의 지원도 필요할 것이다. 정부가 모든 것을 할 수 있는 것은 아니겠으나 환경에 대한 전반적 변화를 위해서는 공공적인 노력이 필요한 것도 사실이다. 정부 주도로 컨퍼런스도 열고 당장의 수익성은 많지 않은 교육 프로그램도 다양하게 마련해야 한다.