[아이티데일리] 계속되는 빅데이터 논란으로 고생하는 사람들은 다름아닌 직장인들이다. 넘쳐나는 이슈들의 추세를 무시할 수도 없고 업무에 반영하자니 막막하다. 그런 상황에서 누군가가 골치 아픈 상황을 벗어날 수 있는 제안을 한다면 귀가 솔깃한 것은 인지 상정이다. 그렇게 해서 요즘의 고객의 프로젝트 제안 요청서에 보면 단골처럼 나오는 것이 비정형 데이터의 분석이라는 말이 나온다. 앞뒤의 다른 내용들과는 좀처럼 어울려 보이지 않을 지라도 빅데이터 관점이 포함되어 있다는 주장을 하기에 충분하다고 생각하는 것이다. 그것은 일단 서류상으로 포장을 하는 작은 기술에 지나지 않는다. 실제로 프로젝트를 통해 하고자 하는 목표를 얻을 수 있도록 자원의 투입과 필요한 구매의 요건을 파악하여야 할 것이다. 빅데이터 프로젝트이건 아니면 일상적인 업무에 빅데이터의 속성을 접목시키는 것 이든지 간에 성공적으로 빅데이터의 안착을 위해서 필요한 요건들이 있다.

첫째로 데이터와 데이터 사이언티스트가 필요하다. 어떠한 데이터가 어떠한 모양으로 필요한 지를 알려면 데이터 사이언티스트가 필요하다. 데이터 사이언티스트들은 분석 기법들과 필요한 방법론 그리고 기본적이고도 필수적인 수학적 통계학적 이론들에 해박하다. 일반인들에게 비정형 데이터라고 하면 막연하고, 이것을 처리할 수 있는 툴을 갖고 있지 않다면 분석하기 어려운 데이터의 집합일 뿐이다. 기술적인 툴이야 어느 정도는 필요할 것이다. 그러나 비정형 데이터도 데이터 일뿐 분석을 위해서는 분석에 필요한 데이터로 변환 되어야 한다. 비정형 데이터에서 심오한 의미를 찾기는 사람도 컴퓨터도 어려운 일이다. 비정형 데이터를 분석에 적합한 정형 데이터로 변환하는 일은 이미 나와 있는 툴을 사용하거나 아니면 프로그램을 할 줄 아는 사람들이라면 그다지 많지 않은 노력으로 프로그래밍 할 수 있을 것이다. 그 작업에 들어가는 노력은 변환 요건의 과다에 따라 변하는 것이지 변환자체에 어려움이 있는 것은 아니다. 즉 비정형데이더를 언급하는 것은 데이터 정형화 프로세스를 하나 더 만드는 것에 불과하다는 것이다. 차라리 빅데이터 분석을 위한 데이터 디자인 업무 또는 데이터 아키텍트 업무를 포함 시키는 것이 각종 데이터와 데이터 사이언티스트의 필요성을 동시에 언급하면서도 좀 더 고상해 보인다고 할 수 있겠다.

둘째로 분석 대상이 되는 현장의 업무 전문가가 필요하다. 빅데이터 프로젝트를 IT측면에서 접근해서는 작은 실수의 연발과 큰 그림을 놓칠 수 있기 때문이다. 언어가 다양하듯이 데이터 또한 다양하다. 데이터만 주면 뭐든지 바로 바로 분석해 주는 사람들은 상당한 위험성을 가진 사람들이다. 말레이지아 추락 항공기를 찾기 위해 동원된 코코넛 주술사와 다를 바 없다. 책임 없는 여러 결과들을 늘어 놓고 본인은 할일 다했다고 하는 것이다. 숫자로 표현된 데이터는 숫자가 아닐 수도 있다. 숫자라 하더라도 비율이나 단절된 측면을 가진 데이터라면 주의를 각별한 기울여서 다루어야 한다. 어떠한 공장에서 가동률을 효율화하려고 빅데이터적 기법을 동원하여 가능한 모든 센서 데이터를 모으고 분석한 결과를 받아보았다. 이 내용으로 공장을 약간만 손보면 되는 것인지, 데이터가 좀 더 필요한 것인지, 아니면 대대적인 투자를 통해 공장을 업그레이드 시켜야 하는지 등등의 내용은 그 분야의 전문가가 아니면 알기 어렵다. 그러한 지식을 가진 전문가와의 공동 작업은 빅데이터 관련 프로젝트의 품질을 한층 고도화 시킬 수 있을 것이다.

셋째로 비즈니스를 잘 아는 전문가가 필요하다. 업무 전문가가 디테일에 강한 가치를 찾아 낼 수 있다면 비즈니스 전문가는 빅데이터 프로젝트를 통해 발굴된 정보들을 회사의 전략에 맞도록 배치하고 중장기적 목표와 비전을 달성하도록 사용한다. 거꾸로 생각해보면 비즈니스 전문가들은 회사의 비전을 달성해 나가는 과정에서 창의적인 필요 요소들을 찾아낼 수 있는데 데이터 사이언티스트와 함께라면 빅데이터적인 필요성을 발굴해 낼 수도 있다는 말이다.  비즈니스 전문가들은 생산, 영업, 관리직을 두루 거친 인물들로 조직의 브레인역할을 하고 있는 사람들이다. 아무리 잘 기획된 빅데이터 프로젝트라고 하더라도 비즈니스 전문가적인 식견이 더해지지 않는다면 화룡점정이 없는 평범한 프로젝트로 마무리되어 책장 속의 먼지와 함께 파기날짜를 기다리는 처량한 신세가 될 것이다.

마지막으로 적절한 툴이 필요하다. 어떤 툴이든지 잘 다루는 인재들이 충분하다면 툴은크게 문제 되지 않는다. 그러나 툴들은 대기업이 판매하는 것이나 오픈 소스에서 구한 것이든 조직에서 수시로 사용하기에 무리가 없다면 그만이다. 그러기 위한 조건으로는 보안에 문제가 없고 인수인계가 수월하도록 사용이 용이 해야 한다. 어떤 기업에서는 너무 사용이 어려운 툴을 도입해놓고는 직원들간에 인수인계가 어렵게 되자 비정규직인 전문직을 고용하여 업무의 연속성을 확보하고 있다. 결과적으로 직원 내부에는 아는 사람이 존재하지 않게 되어 상당한 잠재적 위험을 만드는 모양이 되었다. 이것은 동시에 보안에도 노출이 될 수 있어서 요즘같이 보안이 민감한 시기에는 문제가 생기지 않기만을 기다릴 수 밖에 없다. 다른 어떤 기업에서는 수십억을 들여서 데이터를 모으고 분석하는 프로젝트를 수행하였고 결과적으로는 기존에 수작업으로 하던 작업을 스프레드시트로 작업을 하게 되었다고 한다. 스프레드시트도 약간의 분석 기능이 있기는 하지만 첨단 고도화된 사회에서 분석기능이 필요한 프로젝트의 검수 시에 스프레드시트 결과물을 알아보지 못한다는 것은 어처구니 없는 결과라 아니할 수 없다.

지난 몇 년간의 빅데이터 열풍으로 저마다 분야의 전문가들을 모셔서 나름대로의 대책을 강구하고 새로운 비즈니스 영역을 개척하느라 분주하다. 몇몇 힘있고 돈 많은 기업들은 화려한 멤버들로 꾸며진 팀을 구성하여 빅데이터 과제를 만들어 내고 있다. 그러나 아마도 대부분의 사례는 성공 보다는 실패가 많을 것이다. 정확한 목표나 필요성에 의한 것이 아니고 단순히 추세나 뒤처짐의 불안감에 따른 성급한 투자이기 때문이다. 롱테일의 법칙이 현실이 된 사회에서는 한방에 큰 성공을 거두는 것보다는 늦더라도 정확한 목표를 가지고 작은 빅빅데이부터 손에 잡고 시간과의 싸움을 하는 것이 전략적인 방법이 될 것이다. 아무리 작은 경우라도 성공을 하기 위해서는 위에 열거한 요인들의 힘이 함께 더해질 때 빅데이터 프로젝트는 의미 있고 가치 있는 정보를 가져다 줄 것이다.