[컴퓨터월드] 빅데이터가 화두로 떠오른 지도 수년이 흘러, 이제는 IT업계뿐 아니라 일상에서도 흔히 접하게 될 정도로 우리 사회와 생활의 기반이 됐다. 게다가 올해 알파고 이벤트를 통해 인공지능(AI) 기술의 발전상이 널리 알려지면서 비즈니스 인텔리전스(BI)와 데이터 사이언스 분야는 새로운 전기를 맞았다.

이에 본지 컴퓨터월드/IT DAILY가 ‘빅데이터와 AI, BI의 현재와 미래’를 주제로 ‘2016 빅데이터 컨퍼런스’를 지난달 서울 양재동 엘타워에서 개최했다. 이번 컨퍼런스에서는 빅데이터 분석의 실질적인 활용을 위한 지식과 경험의 공유는 물론, AI 기술의 부상에 따라 급변하고 있는 비즈니스 환경을 짚어보고 함께 미래를 준비하는 시간으로 꾸며졌다.

■ AI와 빅데이터의 공진화 의한 미래 산업 재편

AI는 연구가 시작된 지 60여 년이 된 분야지만, IT의 발달에 힘입어 최근 비약적인 발전을 거듭하면서 전 세계적으로 주목받고 있다. 소프트웨어(SW)의 가상세계와 현실의 물리세계가 만나 일어날 4차 산업혁명의 첨단에는 AI가 있으며, 이에 글로벌 기업들도 앞 다퉈 AI 분야 투자에 나서고 있다. 특히 인지능력을 보유하고 사물인터넷(IoT)과 접목된 스마트머신들이 다가올 혁명의 주역으로 지목되고 있으며, 이들 간의 연결로 만들어지는 빅데이터에 대한 분석을 통해 상상 이상의 가치가 창출될 전망이다.

장병탁 서울대 교수는 “AI 기술의 발전이 IT분야를 넘어 다양한 분야에서 혁신을 일으키기 시작했다. 학습 가능한 디바이스들이 수집한 새로운 데이터들이 인터넷에 모여 예측이 이뤄짐으로써 여러 산업분야에 변화가 일어날 것”이라며, “글로벌 SW기업들이 AI 기술을 적용한 여러 상품을 내놓으면서 물리적인 세계로의 진출을 시도하고 있다. 이는 이미 제조산업에 강점을 지닌 우리나라에 유리한 점도 있다고 해석된다. 이뿐만 아니라 다양한 분야에서 기존 제품과 서비스에 AI 기술을 접목해 새로운 기회를 잡아야 한다”고 역설했다.

■ 빅데이터와 결합된 BI의 미래

빅데이터와 AI의 부상에 따라 현재 우리사회는 정보화 사회에서 지식화 사회로 발전하고 있으며, 이를 통해 BI 분야에서도 예측과 시뮬레이션의 중요성이 높아지고 있다. 다음 세대의 BI는 이를 위한 기능과 함께 사용성 제고에 초점을 맞추고 있다. 기존에 산재돼있던 영역들이 통합돼 하나의 솔루션으로 제공될 뿐만 아니라, 보다 많은 사용자가 더욱 쉽게 고급분석을 수행할 수 있도록 발전해나갈 것으로 예상된다.

배영근 비아이매트릭스 대표는 “BI는 최근 5년간 빅데이터와 AI 등이 등장하면서 그 의미에 본격적인 변화가 일어나고 있다”면서, “오늘날 분석 대상이 빅데이터로 확대되면서 더욱 깊은 통찰과 정확한 예측이 가능해졌고, 가까운 미래에는 AI 기술의 발달로 인해 동작인식 및 음성인식을 바탕으로 궁금한 것에 ‘답을 해주도록’ 발전함으로써 BI의 본질에 더욱 가까워질 것”이라 내다봤다.

■ 빅데이터와 머신러닝

전 세계 AI 용용 서비스 SW 시장에서 현재 가장 주목받고 있는 분야가 머신러닝으로, 최근 급속한 발전을 이루게 된 배경에는 알고리즘의 발전, 빅데이터의 출현, 컴퓨팅파워의 향상 등이 꼽힌다. 머신러닝의 차별점은 스스로 진화한다는 점인데, 제대로 모델링이 이뤄졌을 때는 데이터가 쌓일수록 학습을 통해 더욱 정확한 결과를 낼 수 있기 때문이다. 데이터와 머신러닝은 뗄 수 없는 관계이며, 보다 정확한 예측을 위해서는 데이터의 양뿐만 아니라 그 품질도 관건이 된다.

김종현 위세아이텍 대표는 “비즈니스 앱 측면에서 AI 기술 적용의 주목적은 예측과 분석이 될 것이며, 특화 개인화 추천과 이상징후 예측에 가장 널리 쓰일 것으로 보고 있다”며, “빅데이터는 분석을 넘어 예측의 시대로 가고 있다. 보다 정확한 예측결과를 얻기 위해서는 그 기반이 되는 데이터의 품질이 좋아야 하나, 이를 개인의 지식과 경험에 의존해 일일이 조정하기란 쉽지 않은 일이다. 이에 앞으로는 머신러닝 기반 데이터 공학이 중요해질 것”이라 설명했다.

■ 임베디드 애널리틱스 통한 비즈니스 경쟁력 확보

임베디드 분석은 사용자에게 별도의 로그인이 요구되는 ‘분리’단계, 싱글사인온(SSO)을 통해 로그인 단계를 단축시키는 ‘공존’단계, 사용자가 동일환 환경에서 데이터 콘텐츠를 확인할 수 있도록 임베디드 분석이 이뤄지는 ‘공유’단계, BI가 하나의 애플리케이션으로 동작하게 되는 ‘통합’단계 등 4단계를 거친다. 임베디드 분석은 최신 기술이 아니며 이미 많은 곳에서 사용 중이나, 최근 들어 콘텍스트 기반 데이터 분석을 가능케 함으로써 사용자의 데이터 활용도를 높여준다는 점에서 다시금 주목받고 있다.

지명수 클릭 부장은 “임베디드 분석은 데이터 분석 콘텐츠를 사용자가 일상적으로 확인하는 앱 상에서 바로 볼 수 있어 데이터에 대한 이해를 높일 수 있고, 이에 따라 의사결정에도 최적의 조치를 취할 수 있으며, 데이터의 활용이 높아진다는 점에서 다시금 주목받고 있는 기술”이라며, “임베디드 분석이 전체 비즈니스 프로세스 걸쳐 적용된다면 의사결정 과정이 개선되고 결과적으로 경쟁력 확보에 유리해진다”고 말했다.

■ 로보어드바이저 영역의 빅데이터 분석 솔루션 적용 기술

AI 기법을 활용한 주가예측 모델은 이미 20여 년 전부터 개발돼왔으나, 기술적인 한계로 인해 불규칙적인 외부변수에 따른 주가변동원인을 파악하진 못했었다. 2008년 이후 저금리 정책에 발맞춰 수익률을 높이려는 수요가 생기면서 로보어드바이저가 등장했고, 빅데이터와 머신러닝 등 IT의 발전이 이를 뒷받침했다. 현재 전 세계적으로 로보어드바이저 활용이 활성화되고 있으며, 로보어드바이저가 맡는 역할도 늘어나는 추세다.

이동길 디리아 이사는 “오늘날 로보어드바이저는 단순한 자문을 넘어 위탁 투자까지 가능하도록 발전하고 있다. 이는 머신러닝과 빅데이터 분석 등 불규칙적인 외부변수까지 고려할 수 있는 기술이 등장했기 때문”이라며, “단순히 정형데이터만으로는 금융 시장에 대한 예측이 쉽지 않다. 대형 금융위기나 최근의 최순실 사태 같은 급작스런 이슈를 반영하기 위해서는 텍스트 분석, 특히 감성 분석처럼 비정형데이터를 정확하게 처리하는 것이 중요하다”고 설명했다.

■ 3차원 지도 기반 빅데이터 시각화 사례

시각화는 데이터를 보다 쉽게 확인할 수 있게 해주는 대표적인 방법으로, 특히 위치 기반의 데이터들은 지도 위에 시각화가 이뤄졌을 때 가장 효과적이다. 공간정보는 2D는 물론 3D로, 또 보다 상세한 데이터가 모이면서 발전해나가고 있으며, 기존의 부동산부터 최근의 드론까지 그 활용의 폭도 급격히 넓어지는 추세다. 다양한 데이터와 결합됐을 때 그 가치가 배가되는 공간정보는 다가올 4차 산업혁명의 기반이자 핵심요소로 꼽히며, 관련 기술과 산업의 발전도 급격히 이뤄지고 있다.

최형환 이지스 소장은 “AI 기술과 공간정보가 모두 필요한 분야로는 자율주행차량을 꼽을 수 있다. 정밀한 지도와 함께 실시간 도로정보가 요구되는 분야인데, 기존에는 자동화된 80% 외에 20% 가량은 사람이 직접 구축해야 해서 시간이 걸렸다. 이 문제가 AI 기술의 발전으로 자율주행차량이 직접 주변정보를 인식하고 지도를 갱신 및 공유함으로써 해결된 것”이라며, “현재 AI 기술의 발전은 우리의 예측보다 빠르게 진행되고 있으며, 이들 AI에게는 현실세계를 인식할 수 있는 지도가 필요하다. 우리나라도 공간정보를 더욱 중히 여겨야 한다”고 주장했다.

■ 데이터 기반 프로세스마이닝 통한 혁신 및 사례

‘프로세스마이닝’이란 기업 내 발생하는 많은 데이터들의 연관관계를 분석, 단편적인 부분이 아닌 프로세스 전 과정을 한눈에 살펴볼 수 있도록 함으로써 BPM(비즈니스프로세스관리), PI(프로세스혁신) 등과 같이 기업 프로세스의 혁신을 지원하는 것이다. 전체적인 프로세스 맵을 직관적으로 파악할 수 있는 것이 특징으로, 작업의 병목지점을 파악해 문제를 해소할 수 있고 표준 프로세스를 따르지 않은 부분도 확인할 수 있다. 특히 전수 데이터를 확보해 프로세스 개선을 보다 효율적으로 이룰 수 있는 것이 장점이다.

권오주 굿모닝아이텍 이사는 “기업 내에는 구매·제조·판매·고객서비스·지원·IT개발 등 다양한 프로세스가 존재하지만, 이러한 프로세스의 전체적인 흐름은 파악하기 어렵다. 프로세스마이닝을 활용하면 다양한 분야의 업무 프로세스를 효율적으로 이해하고, 문제가 발생하는 부분을 개선할 수 있다”며, “프로세스마이닝 도입에 있어서도 목적을 명확히 해야 하고, 수집하는 데이터의 품질이 관건이 되며, 현장의 도메인 지식도 필요하다. 무엇보다 데이터의 가치를 알고 활용할 수 있어야 한다”고 강조했다.

■ 시스티어 기반 서비스형 빅데이터 백엔드

최근 데이터베이스(DB)업계에서는 컬럼 기반의 인터랙티브 분석 기술을 통해 대용량 데이터 분석을 보다 용이하게 할 수 있도록 지원하고 있고, 또한 머신러닝은 이미 다양한 IT시스템에 활용되고 있는 수준으로 발전됐다. 현재 룰 기반 시스템에서 학습 기반 시스템으로 진화하는 단계에 있으며, 이들 대부분은 시계열에 따른 자동 분류 방식을 취하고 있다. 나아가 향후에는 실시간 데이터 분석뿐 아니라 실시간 시스템 개선이 함께 진행되도록 발전할 것으로 예상된다.

양봉열 이디엄 대표는 “빅데이터는 쌓아놓는 것만으로는 의미 있는 결과를 얻어낼 수 없고, 구체적인 의사결정을 도와줄 수 있을 때에야 가치를 발휘한다”면서, “앞으로 빅데이터는 실시간 스트리밍과 머신러닝 기반으로 분류와 추천, 예측을 수행하고 적립도 평가를 통해 모델을 반복적으로 개선하는 통합된 데이터 아키텍처로 변화할 것이다. 클라우드에서 이를 활용하는 경우는 확장성과 유연성 측면에서 이점을 얻을 수 있다”고 설명했다.

■ AI와 빅데이터의 경계

모든 세션 발표가 종료된 이후에는 전용준 리비젼컨설팅 대표가 진행을 맡아 ‘인공지능과 빅데이터의 경계’에 대한 토론도 이뤄졌다. 토론에는 정성원 데이타솔루션 이사와 양봉열 이디엄 대표가 패널로 나섰으며, AI 및 빅데이터 산업 동향, 성과, 오해, 전망 등에 대한 다양한 견해들이 제시됐다.

AI에 대한 오해

먼저 전용준 대표는 “알파고가 준 파급효과는 상당히 컸다. 실무자들보다 경영진과 일반인들이 더 충격 받은 것으로 보인다. 반년여가 지난 현재는 AI 관련 정부 주도 사업도 진행되고 있고 언론의 관심도 지속되고 있는데, 이러한 이야기들 속에 오해거리도 적잖이 있는 것 같다”며 의견을 제시했다.

이에 정성원 이사는 “일반인들의 AI에 대한 오해라면 마치 터미네이터의 스카이넷이나 아이언맨 자비스 같은 로봇을 연상한다는 점을 꼽을 수 있다. AI에는 스트롱AI가 있고 위크AI가 있는데, 어느날 갑자기 스트롱AI가 도래한 것처럼 오해하는 것 같다”며, “또 경영진들의 오해라면 투자하면 바로 성과가 나오리라는 착각을 들 수 있다. AI도 많은 데이터를 통해 학습으로 오차를 줄여가는 것이므로 당연히 시간과 돈이 요구된다. AI에 대해서도 빅데이터와 마찬가지로, 당장의 결과만을 바라보고 열광하거나 냉담하기보다는 그 과정에 대한 논리적인 접근이 필요하다”고 주장했다.

이어 양봉열 대표는 “AI에 대한 세간의 기대가 예전 빅데이터 초기와 비슷한 모습이다. 기존에 해결되지 않았던 문제들을 풀 수 있으리란 막연한 기대도 있고, 또 대신 의사결정을 해준다고 하니 사람이 저지르는 잘못들이 없을 거라 여겨지는 것 같다”며, “이상거래시스템에 머신러닝을 적용했을 때 이상을 찾아낼 확률이 99.7%라고 하면 높아 보이지만, 증권사들의 하루 거래량이 평균적으로 20만 건 이상이란 점에서 0.1% 오차도 치명적이다. 또 룰 기반 시스템이나 두 가지를 결합하는 편이 더 효율적이고 정확한 경우도 있는데, 일부에서 굳이 머신러닝만을 고집하는 것은 과도한 현상으로 보인다”고 덧붙였다.

AI와 빅데이터의 관계

이에 양봉열 대표는 “빅데이터 활용에는 AI 기술이 필요하지만, 반면 AI 분야는 꼭 빅데이터를 필요로 하진 않는다. 매 경우마다 실시간으로 대량의 데이터가 요구되는 것은 아니며, 그보다는 기계의 학습을 위한 준비된 데이터가 필요하다고 할 수 있다”고 밝혔다.

반면 정성원 이사는 “빅데이터 분석과 AI는 함께 발전하는 관계라 보며, AI 분야의 경우 특히 양질의 데이터를 필요로 한다. AI 활용에는 양이 크든 작든 간에 목적에 맞는 데이터를 수집하는 것이 중요하다”며 “IBM의 경우 여러 분야에 인지컴퓨팅을 적용하려 노력하고 있는데, 현재 당면과제가 데이터 확보다. 막대한 자금과 기술력을 동원했음에도 AI의 학습에 필요한 데이터를 구하는데 어려움을 겪는 실정”이라 설명했다.

AI 및 빅데이터 분야 전망

토론은 AI 및 빅데이터 분야에 대한 향후 전망으로 이어졌다. 정성원 이사는 “AI가 의료 분야의 진단 영역과 같은 분야에서 사람 이상의 정확도를 보이며 성과를 거두고 있지만, 다른 여러 분야에도 적극 활용되려면 아직은 더 발전돼야 한다”며, “신용평가만 100년 이상을 해온 나라도 있는데 비해 우리나라는 분석 분야의 역사가 짧다. 이러한 데이터와 AI가 만나 발전이 이뤄지는데, 우리는 그간 감에만 의존하면서 스몰데이터도 제대로 활용하지 못하다가 빅데이터를 만나고 또 AI 기술의 발전도 접하며 혼란이 지속되는 것 같다. 거창한 말보다는 데이터를 분석하고 패턴을 찾아서 비즈니스에 응용하는 것부터 시작할 필요가 있다”고 역설했다.

이어 양봉열 대표는 “하둡을 만든 더그 커팅이 최근에 하둡은 사라질 것이라는 발언을 했는데, 이는 하둡이 모든 IT의 기반이 될 것이라는 뜻을 담고 있다. 즉 빅데이터도 다양한 영역에서 기반으로 자리하며 차세대로 나아가고 있다고 본다”면서, “AI 기술의 경우 본격적인 적용에는 현재 많은 자본을 필요로 하므로 컨슈머나 마케팅 분야에서 먼저 활성화될 것이라 본다. 산업계 적용에는 선결과제가 남아있는데, 기업 내부의 데이터를 충분히 탐색하고 수용할 수 있는 시스템이 구비돼 다양한 시도가 가능해야 한다. 데이터 사이언티스트 정도의 역량이 없어도 머신러닝을 쉽게 적용해볼 수 있는 환경이 마련돼야 그 활용이 늘어날 것”이라 짚었다.

한편 전용준 대표는 “산업 적용에 있어서는 AI의 영역을 인텔리전스와 인터페이스로 그 영역을 나눠서 볼 필요가 있다. 이 중 가상비서와 같은 인터페이스 쪽이 딥러닝 등을 통해 그 적용범위가 확산되고 활용도가 높아졌고, 이에 삼성전자 등 여러 기업들에서도 관심을 갖고 투자하면서 가시적인 서비스들을 내놓고 있기에 보다 빠르게 발전하는 추세”라고 소개했다.

AI와 빅데이터의 시너지를 위해

토론을 마치며 패널들은 AI와 빅데이터의 시너지를 낼 수 있는 방향을 제시했다. 양봉열 대표는 “결국은 현업의 도메인 지식이 중요하다고 본다. AI나 빅데이터 관련 기술이 더 발전하고 성숙하려면 베스트 프랙티스가 나오고 확산돼야 한다. 어떤 가치를 얻고자 하는지에 대한 명확한 목표가 있어야 하는데, 이는 현장에 있는 이들이 가장 잘 안다. 목표 설정과 분석 과정에서 함께 고민하고 발전해나가야 한다”고 말했다

아울러 정성원 이사는 “우리나라에는 데이터의 생산자와 소비자들 사이에 데이터를 배포하는 업체가 없어 아쉽다. 기업들에게는 데이터가 자산이긴 하지만, 이를 당장 활용할 곳이 없어도 일단 쥐고만 있고 놓지를 않는다. 정부도 마찬가지로, 정부3.0으로 공공데이터가 개방되고 있으나 여전히 더디다고 본다. 빅데이터와 AI가 균형적으로 발전하려면 데이터 가공, 생산, 소비의 순환이 원활해야 되는데, 우리는 이 부분이 막혀있다”고 지적했다.

마지막으로 전용준 대표는 “빅데이터와 AI에 대해 실질적인 이야기를 나눠보는 시간이었다”고 평하면서 우리나라 데이터 산업의 발전을 기원하며 토론을 마무리 지었다.