신의섭 비투엔컨설팅 이사
▲ 신의섭 비투엔컨설팅 이사
(上) 기업이 빅데이터 경쟁력을 갖는 방법
'빅데이터'열풍이다. 최근 열리는 각종 IT관련 세미나·컨퍼런스에서 빠지지 않는 단어 중 하나가 빅데이터이다. 빅데이터는 비(Non)IT 분야에서까지 화두로 떠오르고 있다. 해외는 물론 국내 기업들도 빅데이터의 도입 및 활용에 촉각을 기울이고 있다. 실제 해외의 경우 빅데이터를 활용하여 비즈니스 경쟁력을 높인 사례들이 속속 보고되고 있다.
그렇다면 '빅데이터'는 어떤 시각에서 보고 도입해야만 하는가. 혹시 2000년 초반 국내 IT시장에 열풍처럼 번졌으나 결과적으로 실패한 DB 마케팅(Marketing)이나 CRM 등과 같은 일시적인 현상으로 끝날 붐은 아닐까. 아니면 앞으로 기업들이 비즈니스 경쟁력을 갖추기 위해서는 꼭 필요한 새로운 무기, 즉 'Must Have Item(필수 아이템)'이 될 것인가. 결론부터 얘기하자면 빅데이터 도입을 고려하고 있는 기업들이 빅데이터를 '또 하나의 IT 시스템'으로 여기기보다는'데이터 자체'로써의 의미를 찾고자 하는 노력과 이에 필요한 역량, 또 이를 뒷받침 할 수 있는 내부 운용 능력을 어느 정도 갖추었느냐에 따라 달라질 수 있다.
이에 기업이 빅데이터 도입을 통해 경쟁력을 확보하고자 할 때 반드시 고려하거나 갖추어야 할 부분에 대해 상·중·하로 연재한다. 상편에서는 빅데이터에 대한 정의에서부터 효율적인 접근 방안과 고려할 사항을 다루고, 중편에서는 빅데이터 활용 사례와 적용 방법을 설명한다.
하편에서는 방대한 분량의 빅데이터를 효율적으로 관리하기 위한 빅데이터 거버넌스(Governance)와 반드시 고려해야 할 개인정보보호 이슈에 대해 다룬다.
빅데이터란 무엇인가
'빅데이터'하면 대부분 '3V'혹은 '4V'를 떠올리게 된다. '3V'는 빅데이터가 양이 많고(Volume), 정형·반정형 혹은 비정형 등 다양한 형태를 취하고 있으며(Variety), 적절한 시간 내에 처리가 가능하여야 한다(Velocity)는 것을 말한다. '4V'는'3V'에 처리한 데이터가 가치를 가져야 한다(Value)는 점을 포함하여 정의하고 있다.
이렇게 보면 '빅데이터는 처리할 가치가 있으나 기존의 방법으로 처리하기에는 비용과 시간이 너무 많이 소요되는 데이터'라고 정의할 수 있을 것이다. 기상데이터나 통신 트래픽 데이터가 대표적인 예일 것이다.
그러나 최근 빅데이터에 대한 논의를 살펴보면 기존의 데이터와 빅데이터를 양분하는 경향이 나타나고 있다. 심지어 빅데이터 성공사례를 다루는 장에서는 빅데이터가 '맞느냐'와 '아니냐', '빅데이터 방식으로 구현되었느냐'까지 논란의 대상이 되고 있다.
데이터를 다루는 관점에서 보면 기존의 데이터와 빅데이터는 크게 다르지 않다. 데이터를 나누는 기준은 데이터가 가진 가치에서 찾아야 할 것이다. 즉 금융데이터와 같이 하나의 레코드가 중요한 가치를 가진 데이터라면 아무리 비싸도 안전하게 처리해야 하고, 웹 서비스의 로그 데이터와 같이 몇 개의 레코드가 손실되어도 전체적인 관점에서 크게 문제없다면 싼 장비를 활용하여 처리하는 것이 바람직할 것이다.
아마도 2~3년 후면 빅데이터 영역은 데이터 처리 영역으로 완전히 흡수되고 용어는 사라질 것으로 보인다. 또 빅데이터는 데이터 자체만 언급하는 시각에서 벗어나서 빅데이터를 분석할 수 있는 환경, 즉 플랫폼과 분석도구, 기술력, 심지어는 빅데이터를 받아들이는 기업문화까지 포함하고 있다.
빅데이터 도입을 기존의 정보 시스템 도입과 같은 선상에서 바라보는 경우가 많다. 이 경우 대부분 일회성의 행사에만 그치고 사업에는 실패할 가능성이 높다. 성공적으로 빅데이터를 도입하여 비즈니스에 적용하기 위해서는 데이터의 자원화, 데이터를 처리하는 기술, 데이터의 의미를 통찰하는 능력과 이 통찰력을 기반으로 의사결정이 이루어지는 문화 등 다양한 기술적, 조직적 문화가 결합하여야 한다.
<이하 상세 내용은 컴퓨터월드 4월 호 참조>