11.21
뉴스홈 > 칼럼
[기고] 예측분석은 빅데이터를 숨쉬게 한다전용준 리비젼컨설팅 대표/경영학 박사

   
▲ 전용준 리비젼컨설팅 대표/경영학 박사

[아이티데일리] 빅데이터에 대한 관심이 아직은 식지 않는 분위기로 보인다. 점점 더 많은 학생들이 빅데이터를 공부하고자 하고, 신문에 나오는 기사의 수도 줄어들 기미를 보이지 않는다. 공공분야에서의 빅데이터 적용은 지속적으로 확산된다는 뉴스가 매일 나오고 있다. 그럼에도 불구하고 정작 빅데이터 시장이 폭발적으로 성장한다는 소식이나 대형 빅데이터 프로젝트가 진행된다는 소식을 들어볼 수가 없다. 계속 거품만 커져가고 있는 것일까? 터지지도 않고.

한편 꽤 많은 사람들이 지금의 빅데이터 프로젝트들에 대해 문제점을 지적하고 있다. 각자의 시각으로 하는 지적이다 보니 기술적인 것에서부터 업무적용에 관한 것 등 지적의 내용이나 양상이 매우 다양한 것도 사실이다.

하지만, 어느 정도 공통적으로 지적되는 항목은 바로 분석이라는 측면에서 어떤 가치 있어 보이는 인사이트를 도출하지 못하는, 연습 성격의 프로젝트들이 많다는 점일 것이다. ‘빅’데이터를 사용해서 어떤 새로운 것이 나왔느냐는 것이다. 사람 많은 곳이 교통사고가 많은 곳이라거나, 지하철역 중에서는 환승역에 통행량이 많다는 것을 빅데이터를 사용해야 알 수 있는 것인가 하는 것이다.

이런 측면에서 예측 분석은 지금의 빅데이터에 날개를 달아줄 수 있는 강력한 구세주일지 모른다. 이에 대해 이야기하기 위해 먼저 대체 무엇이 가치 있는 정보인가를 살펴보자. 우리가 가치가 큰 정보라고 이야기하는 경우의 유형을 나누어 보면 대략 다음의 세 가지로 나누어진다.

[유형 1] 이미 알고 있는 것을 수치화한 것 - 객관적 합의 도출
[유형 2] 생각해보지 않았던 사실 (생각해보면 알 수 있었으나)
[유형 3] 궁금해도 알 수 없었던 사실 (예: 내일의 날씨)

이미 알고 있는 것을 수치로 바꾸는 첫 번째 유형의 작업은 통상 단순한 작업이다. 그러나 사안에 따라서는 수많은 시간을 수많은 사람들이 모여서 회의를 해야 결론이 날까 말까한 일에 소요되는 자원투입을 절감시키는 효과가 있을 수 있다. 그러나 대개 이 경우에 생겨나는 가치가 그리 크지는 않다.

두 번째 유형은 관련된 데이터가 많고 매우 복잡한 경우에는 중요성이 있는 작업이다. 너무나 많은 조합이 있기에 생각조차 할 엄두를 내지 않았던 경우라면, 이 또한 얼마간 가치가 있다.

정작 큰 가치가 걸린 대목은 바로 마지막 유형이다. 궁금해도 사람머리로는 숫자나 답을 찾기 어려운 경우 말이다. 예측분석은 바로 이 유형의 정보를 생산하는 작업이다.

새로운 의사결정을 가능하게 하는 정보라야 가치로 연결된다. 빅데이터가 중요한 것은 그 자체가 무엇을 할 수 있어서가 아니라 정보로 바뀔 수 있는 재료라는 점이 유일한 이유이다. 만일 굳이 숫자로 바꾸지 않더라도 이미 거의 알고 있는 정보라면 그러한 것은 가치가 없다. 월요일 아침에 길이 막힌다는 것과 같은 상식적인 것들 말이다. 지금의 빅데이터 분석이 문제가 되는 것은 이런 가치가 별로 크지 않아 보이는 정보를 만드는 것으로 수준과 범위가 한정되어 있다는 것이다.

지금의 예측분석이 과거의 예측분석과 달라진 점 세 가지

   
▲ 예측분석 프로세스가 조직의 기간업무로 변화

최근의 동향을 보면 예측분석은 이미 큰 규모의 조직에서는 기간업무로 자리잡아가는 양상이다. 서너 개 수준이 아닌 수백 개의 예측모델을 운영하며, 비정형 내지는 외부 데이터까지 예측 분석에 입력으로 활용하고, 그 예측 결과들을 종합하여 전체적이고 입체적인 대비책을 수립하고, 이에 대한 적절성을 실험하고 개선해가는 프로세스를 구축해가고 있는 것이다.

이전에 사람의 업무를 부분적으로 예측분석이 지원하는 구도에서 예측분석을 중심으로 사람이 지원하는 형태로의 변화도 많이 볼 수 있다. 업무 프로세스가 그만큼 지능화 디지털화 되어간다고 해석된다. 이러한 변화는 과거의 예측분석과 지금의 예측분석이 같은 모습이 아니기 때문에 가능한 것이다. 이전에 예측분석이 기대한 만큼의 실효성을 낼 수 없었던 근본적 제약들이 조금씩 제거되어 가고 있다.

아래 세 가지는 대표적인 변화 항목들이다.

[변화 1] 데이터가 많아졌다. 예측은 이전과 다른 수준일 수밖에 없다.
[변화 2] 알고리즘과 데이터 사이언스, 환경 측면에서 엔터프라이즈 급으로 확대되었다.
[변화 3] 예측분석 실용화로 업무프로세스와 사람의 업무 수행방식에도 변화가 이루어진다.

양적으로, 종류 측면에서도 데이터가 많아졌다. 그만큼 정확하고 정교한 분석이 가능해진 것이다. 운영환경이 대규모화 되면서 데이터양이 크다고 분석을 하지 않는 경우가 없어지고 있다. 데이터 수집에서 분석과 결과 전달까지가 체계적인 프로세스의 모습을 갖춰가고 있다.

또 사람이 처리하는 것도 가능하지만 비슷한 수준의 결과를 분석시스템이 자동 처리할 수 있는 경우라면 이를 보다 저렴하고 안정적인 시스템으로 대체하는 경우가 증가하고 있다. 소위 화이트 컬러의 업무 분야에서의 기계와 사람의 공존과 협력의 시대, 사람의 임무가 달라지는 것이다.

해외의 예측분석 기반의 빅데이터 활용 사례

지난해부터 동료들과 함께 진행하고 있는 작업은 해외의 빅데이터 사례를 수집하고 조립해서 퍼즐 맞추기 식으로 다듬어 시사점을 찾아보는 것이었다. 이미 일 년에 걸쳐 이 작업을 계속하다 보니 다양한 국가와 다양한 산업분야, 다양한 적용대상 업무에 대한 사례들이 축적되었다.

이 작업의 중간 결론은, 데이터가 분석을 거쳐 이전에 없던 정보를 만들어내고, 그 정보가 실제로 비용을 줄이든 매출을 높이든, 안전을 보장하든 효과로 연결되어야 지속되고 발전해갈 수 있다는 것이었다.

대표적인 사례로 미국 시카고시의 쥐 출몰 예측과 싱가포르의 예측기반 구급차 운영, 그리고 디즈니랜드의 고객경험과 관련된 분석 등을 들 수 있다. 특히, 시카고시의 쥐 출몰 예측(Automated Preventive Rodent Baiting Program)은 국내의 공공기관들 특히 지자체들이 참고사례로 눈여겨 볼만하다.

   
▲ 시카고시의 쥐 출몰 예측 분석과 활용

시카고시는 311을 통해 수집된 민원데이터를 단순 집계 분석하는 것을 넘어서서 구체적인 문제, 즉 쥐의 출몰에 대해 시간과 장소에 대한 예측지표들을 개발하는 분석 작업을 실시했으며, 그 결과는 쥐를 퇴치하기 위한 팀의 운영계획과 자동 연계되어 효율 20% 증가라는 명확하고 가시적인 성과를 냈다.

한편 예측기반 구급차 운영은 ‘CEO를 위한 빅데이터’라는 책을 통해서도 소개하였으나, 요점은 구급차가 필요할 시점에 필요할 장소에 미리 가 있는다는 것이다. 디즈니랜드의 경우 주로 테마파크를 방문하는 고객들에게 개인화된 타깃 마케팅을 실시하고, 고객경험을 개선하며, 인력과 시설물의 운영효율을 높이는 것을 목표로 하고 있다. 이를 위해 1조원에 상당하는 기반시설 투자를 통해 고객동선을 포착하는 기반시설을 갖췄다. 물론 그로부터 수집되는 데이터는 예측적 마케팅과 운영, 예를 들면 언제 몇 명의 크루를 어디에 배치해야 하는지와 같은 업무 수행을 위해 사용된다.

공공분야 민간분야를 막론하고, 데이터만 대량으로 모아둔다고 그 것이 자동으로 가치를 발휘 할리는 없다. 보다 정교하고 보다 정밀한 분석이 뒤따르지 않는다면 시간과 노력의 낭비일 뿐이다. 예측분석의 본격적인 활용은 빅데이터를 ‘빅’ 가치로 바꾸기 위한 핵심 수단의 하나라는 점을 기억해야 한다.

인기기사 순위
(우)08503 서울특별시 금천구 가산디지털1로 181 (가산 W CENTER) 1713~1715호
TEL : 02-2039-6160  FAX : 02-2039-6163  사업자등록번호:106-86-40304
개인정보/청소년보호책임자:김선오  등록번호:서울 아 00418  등록일자:2007.08  발행인:김용석  편집인:김선오