[아이티데일리] 모 회사의 이사는 고민에 빠졌다. 갑자기 빅데이터를 해보라는 지시가 하달됐다. 고민에 고민을 거듭한 끝에 전사적인 품질관리 빅데이터 프로젝트를 해보기로 하고 부서별로 의견을 모아보기로 했다.

제품에 관련된 전체 제조 공정과 판매, 그리고 고객의 만족도를 망라하는 데이터를 모으기로 계획하고 실행에 들어갔다. 왠지 모를 불안감이 있긴 했지만 지금까지 6시그마 활동도 수년간 해왔고, 매년 ISP와 EA를 통해서 시스템 통합 작업을 고도화해왔기 때문에 자신 있게 밀어 붙였다.

그런데 초기부터 공장 측의 반응이 부정적이었다. 공정별로 쓰이는 데이터를 관리하는 키 값들이 상이해서 일관된 전체적인 데이터를 만들기 어렵다는 것이다. 소위 데이터 인테그리티 문제가 발생한 것이다. 그 이유는 그간의 프로젝트들이 단위 공정 위주로 이뤄졌으며, 타 공정과 연계 시에는 임시방편으로 대응만하고 실제로 데이터를 연계해서 뭔가를 해보지 않았으므로 이러한 문제가 발생한 것이다. 즉 실행의 문제였다.

사람의 눈은 세상과 소통하는 무엇과도 바꿀 수 없는 소중한 기관이다. 사람이 보는 기능을 응용해서 만든 것들이 현미경, 카메라, 그리고 망원경이다. 현미경과 망원경은 사람의 눈으로 볼 수 없는 것에 대한 접근을 가능하게 해주었고, 카메라는 보이는 것을 저장하고 공유하는 것이 가능하게 해주었다. 현미경으로 물체를 들여다보면 신기하게도 섬세한 구성 요소들을 볼 수가 있다. 망원경으로 우주를 본다면 지구의 미래에 해당하는 천체나 지구에 영향을 미칠 수 있는 우주현상을 볼 수 있다.

데이터도 마찬가지이다. 하나의 데이터라도 현미경으로 자세히 들여다본다면 평소에 보이지 않았던 숨겨진 진실이 모습을 드러낼 것이다. 이 사례는 인간의 한계를 극명하게 드러내는 것이다.

일차원적으로 생각하는 경향이 있는 사람들은 주장이 매우 강하다. 의도하는 바가 매우 단순 명료해서 주변의 사람들이 알아듣고 이해하기가 쉽다. 문제는 그가 생각하는 것들이 원래 그렇게 단순하지 않아서 일차원적인 생각들은 오래지 않아 높은 차원의 견해들에게 밀리게 된다는 것이다. 그러한 경향이 있는 사람들이 부서별 관리자로 일하는 경우에 오랜 시간에 걸쳐 만들어지고 유지 되어 오던 시스템들이 함께 합쳐져야 하는 상황에서는 다차원적인 사고의 결여로 위에서 언급한 것과 같은 데이터 인테그리티 문제가 발생하는 것이다.

다차원적인 문제 해결방법을 가진 사람들은 복잡한 문제들을 일차원적인 문제들로 나누어 해결할 줄 아는 사람들이며, 그와 동시에 나누어진 일차원적인 문제들 간의 연결 고리를 유지하려고 한다.

빅데이터의 문제는 본질적으로 극도의 다차원적인 문제이다. 자기의 전문영역이 확고한 그러나 어느 면에서는 일차원적인 사람들이 서로 다른 견해를 내놓고 있어서 빅데이터의 시너지를 얻기 힘든 경우가 태반이다. 이러한 문제를 성공적으로 해결하자면 일차원적인 전문가들을 다차원적인 해결이 가능한 역량을 가지도록 해야 할 것이다. 하지만 이러한 차원을 높이는 일은 생각처럼 쉬운 일이 아니다.

습관처럼 하던 대로 하는 것은 무심코 하는 생각이나 행동들이다. 사람들이 컴퓨터로 작업을 할 때 같은 자세로 오랫동안 하는 것은 나쁜 습관 중의 하나이다. 목 디스크나 손목의 문제가 생겨서야 겨우 무슨 일이 일어났음을 짐작하게 된다. 무심코 남의 말에 끼어드는 경향이 있다고 하면 점차 왕따가 되기 십상이다.

데이터를 마주할 때도 대개의 사람들은 고도의 분석을 하고 싶은 마음에 성급하게 통계 패키지에 데이터를 넣고 일사천리로 결과를 뽑아본다. 이는 독립변수와 종속변수의 속성도 구분하지 못하면서 매개변수를 논하는 격이라 할 수 있다. 성공적으로 습관을 바꾼 사람들은 그렇지 못한 사람들에 비해서 노력과 결단력 그리고 실행력이 뛰어난 사람들이다.

태초부터 태양은 변함없이 지구를 비춰주고 있다. 달은 지구 주위를 돌며 달빛을 비추고 있다. 하늘의 무수한 별들은 역사적으로 별자리를 만들며 전설들을 지니고 있다. 망원경과 천체 물리학이 발달하고, 천체의 실체에 다가가면서 이전에 알던 것과는 상당히 다른 내용들이 밝혀지고 있다. 태양이 지구에 보내는 것은 밝은 빛만이 아니라는 사실, 달빛은 달이 내는 빛이 아니라 태양을 반사하는 것이라는 오래된 진실, 우주에 스스로 빛나는 별들에는 사람이 살 수 없다는 진실 등등이다.

사실 앞으로도 더욱 놀라운 진보가 기다리고 있다. 일상의 현상 속에 숨어 있는 놀라운 진실을 알아내고 더 이상의 궁금증이 없는 수준까지 가려고 노력하는 가운데 인간의 차원은 진보하게 될 것이다. 다차원의 역량을 가진 사람이 문제 해결을 위해 여러 개의 일차원적인 문제로 분해하고 해결하는 수준을 넘어, 현재의 수준에 차원을 하나씩 높여가는 노력을 해야 한다는 것이다.

미국에서는 바퀴벌레를 소탕하기 위해 바퀴벌레가 좋아하는 단 성분이 있는 바퀴벌레 퇴치약을 개발해 오랫동안 상당한 효과를 보고 있다. 그러나 바퀴벌레조차도 경험적인 데이터를 이용한다는 사실은 상당히 충격적으로 다가왔다. 단 성분을 좋아하는 경향이 있는 바퀴벌레들이 스스로 입맛을 바꾸기 시작한 것이다. 대량학살을 경험하면서 바퀴벌레는 후손들에게 단 것을 싫어하게 하는 방향으로 입맛을 바꾸게 했다.

아직 인간을 바퀴벌레가 몇 가지의 입맛이 있는지 모두 알지는 못할 것이므로 인간과 바퀴벌레와의 입맛 전쟁은 끝나지 않을 것이다. 그러는 과정에서 엄청난 데이터가 양측에 쌓일 것이고, 인간이나 바퀴벌레나 시차는 있겠지만 서로를 속일 수 있는 방법을 강구할 것이다. 아마도 지금까지의 생존 능력으로 미루어 보건대 핵전쟁으로 인류가 멸망해도 바퀴벌레는 방사능 물질을 맛있게 먹을 수 있는 미래 지구의 주인공으로 남을지도 모른다.

어떠한 경향이 있다는 것은 이미 어느 정도의 경험 데이터를 통해 예측의 가능성을 가지고 있다는 것이다. 요즘은 예측 불가의 경향도 존재한다. 그것도 일종의 경향이다. 그러나 어떠한 경향이 예측불가인지 아닌지를 아는 것이 중요하다. 그것조차도 예측인 것이다.

진실에 접근하기 위해서는 망원경과 현미경 같은 기능을 이용해 수집된 데이터를 면밀히 살펴봐야 한다. 경향을 만들고자 하는 사람, 경향을 파괴하고자 하는 사람들 모두 새로운 것을 해보고자 하는 공통점이 있다. 그러기 위해서는 객관적으로 무엇이 새로운 것 인지를 일아내는 일이 중요한 데, 거기에 빅데이터를 활용하는 길이 있다. 그리고 이러한 방법도 하나의 경향이 될 것으로 생각한다.