2017년 빅데이터 분야 6대 전망 발표

 
[아이티데일리] 맵알테크놀러지스(MapR Technologies, 한국지사장 김점배)의 존 슈뢰더(John Schroeder) 창립자 겸 이사회 의장이 올해 6가지 주요 시장 동향 및 전망을 21일 발표했다.

존 슈뢰더 맵알 창립자는 빅데이터 도입 가속화로 인해 데이터 가치로 초점이 맞춰지고 있다고 강조했다. 이전에는 기술자들이 새로운 빅데이터 기술을 배우고 이해하고자 했다면, 이제는 고객들이 먼저 새로운 프로젝트는 무엇이고 기술을 활용해 실질적으로 어떠한 이점을 얻을 수 있는지 학습하는 양상으로 시장이 변화했다는 설명이다. 다음은 맵알의 올해 빅데이터 전망 내용이다.

트렌드로 자리 잡은 인공지능(AI)

1960년대 레이 솔로모노프(Ray Solomonoff)는 AI의 수학적 기반을 다지고 귀납적 추론 및 예측을 위한 베이지안(Bayesian) 방법론을 소개했다. 1980년 퍼스트 내셔널 컨퍼런스의 미국인공지능학회(AAAI)가 스탠포드에서 개최돼 이러한 이론을 소프트웨어(SW)에 적용하는 것을 논의했다. 오늘날 AI는 다시 트렌드로 자리 잡았으며, 머신 인텔리전스, 머신러닝, 인공신경망, 인지컴퓨팅 등을 포괄하는 유행어가 됐다.

AI가 트렌드가 된 이유로는 빅데이터와 같이 속도(Velocity), 다양성(Variety), 볼륨(Volume)이라는 3V가 꼽힌다. 기존 플랫폼에 비해 10~20배에 달하는 비용 효율성을 제공하고, 수평 확장 가능하며, 최신 및 기존 프로세싱 모델을 겸비한 플랫폼이 요구되고 있기 때문이다. 일전에 구글은 대규모 데이터셋을 자주 처리하는 단순한 알고리즘이 더 작은 셋을 사용하는 알고리즘보다 간단하다는 것을 설명한 바 있다. 맵알은 대규모의 반복되는 업무에 사람의 실수로 오류 및 손실을 보완할 수 있는 AI를 적용해 높은 가치를 창출할 수 있을 것이라고 전망했다.

데이터 거버넌스와 경쟁우위 간 빅데이터 논쟁

올해에는 데이터 거버넌스와 데이터 가치 간의 논쟁이 더욱 치열해질 것이다. 이미 기업들은 고객 및 파트너에 대한 풍부한 정보를 보유하고 있다. 기업들은 거버넌스 방식 또는 그 외의 방식으로 데이터를 관리하게 될 것이다.

데이터 품질 및 생성계보를 관리하는 것은 데이터의 출처와 변형을 추적할 수 있게 한다. 이러한 관리는 필수적이지만, 때로는 높은 카디널리티(cardinality)와 실시간성, 정형·비정형 혼합형 데이터의 특성을 활용한 맞춤형 오퍼링 서비스나, 360도 고객 서비스 등과 같이 통제하지 않은 사례들이 더욱 효과적인 결과를 가져오기도 한다.

데이터 레이크에 빠지지 않기 위한 기업들의 노력

올해 기업들은 “지어놓으면 수요가 뒤따른다(build it and they will come)”라는 데이터 레이크에 대한 접근 방식에서 벗어나 현업 주도적인 데이터 접근 방식으로 전환할 것이다. 오늘날 시장에서 분석 및 운영 기능은 고객 요청, 클레임 처리, 기기 인터페이스 등을 실시간으로 개별 차원에서 처리하는 도구로 활용되고 있다. 예를 들어 전자상거래 사이트 경우, 고객 맞춤형 추천 및 가격 확인이 실시간으로 제공돼야 한다. 의료기관들은 분석과 운영 시스템을 결합해 보험 승인을 처리하고 부정 수급을 방지할 수 있다. 미디어 기업은 셋톱박스를 통해 제공되는 맞춤형 콘텐츠를 제안한다. 자동차 생산업체 및 렌탈 업체는 자동차와 운전자 간의 상호작용을 강화한다.

이 같은 활용사례를 구현하기 위해서는 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 요구된다. 기술적으로는 애널리틱스, 운영 프로세싱을 함께 운영할 수 있는 애자일 플랫폼이 요구된다. 이에 따라 기업들은 ‘질문을 던지는’ 접근방식을 넘어 장·단기적 비즈니스 가치 창출을 위한 아키텍트 구축에 집중할 것이다.

기업 성패를 좌우할 데이터 민첩성

SW개발은 데브옵스를 통해 더욱 지속적이고 민첩하게 진행되고 있다. 올해 처리 및 분석 모델은 더욱 진화해 기업들이 데이터 민첩성 인지에 상응하는 수준의 민첩성을 제공하게 될 것이다. 데이터 맥락(context)을 이해하고 이에 대한 비즈니스 조치를 취할 수 있는 역량인 데이터 민첩성은 단순히 거대한 데이터 레이크를 보유하는 것을 넘어 경쟁우위를 확보할 수 있는 요소다.

애자일 프로세싱 모델의 등장은 배치(batch) 분석, 쌍방향 분석, 글로벌 메시징, 그리고 DB 및 파일 기반 모델 지원을 가능하게 했다. 또한 애자일 분석 모델의 확장은 데이터의 단일 인스턴스가 더욱 광범위한 툴 셋을 지원할 수 있도록 한다. 이를 통해 기업들은 광범위한 데이터 처리 및 분석 모델을 지원할 애자일 개발과 애플리케이션 플랫폼을 확보할 수 있다.

블록체인 통한 금융 서비스 애플리케이션의 고급화

블록체인은 데이터를 저장하고 트랜잭션을 처리하는 방법을 변화시키는 글로벌 분산 원장(distributed ledger)을 제공한다. 블록체인은 전 세계에 분산된 컴퓨터에서 구동되며, 누구나 체인을 조회할 수 있다. 트랜잭션은 타임스탬프가 부여돼 변경할 수 없는 형태로 블록 내에 저장되며, 각 블록은 이전의 블록과 연결된다. 이를 통해 이론적으로 블록체인에는 해커들의 접근이 불가능해졌다.

블록체인은 소비자 관점에서도 매우 효율성이 높은 방식이다. 예를 들어 고객은 SWIFT 거래를 위해 대기하지 않아도 되고, 중앙 데이터센터 해킹에 대해 걱정하지 않아도 된다. 기업에게 블록체인은 비용절감 효과 및 경쟁우위 확보를 위한 기회를 제공한다. 이를 바탕으로 올해 금융 서비스 분야에서 더욱 광범위한 데이터 저장 및 트랜잭션 처리 방법에 대한 혁신적인 활용사례가 나올 것으로 기대된다.

머신러닝의 마이크로서비스 효과 극대화

올해 머신러닝 및 마이크로서비스의 통합 시도가 점점 증가하고 있다. 이전에 마이크로서비스 도입은 비교적 가벼운 서비스 영역에서 집중적으로 이뤄졌으며, 이를 머신러닝과 통합하는 것은 패스트 데이터(fast data) 통합으로 스트리밍 데이터의 좁은 대역폭에 적용되는 수준으로 제한됐다.

올해에는 마이크로서비스 도입이 빅데이터를 활용한 상태 기반 애플리케이션으로 확장되고, 머신러닝과의 통합도 대량의 기록 데이터를 활용하는 방향으로 사용돼 신규 스트리밍 데이터의 맥락을 더욱 잘 이해할 수 있는 방식으로 전환될 것이다.


존 슈뢰더 맵알 창립자는 “기술 계층보다 데이터 계층에 대한 논의가 더 활발하게 이뤄지고 있다”며, “맵알은 데이터의 신뢰성 및 안전성, 동시에 적정 수준의 스케일 및 속도 제공에 대한 기업들의 이슈를 해결하는 것은 물론, 컨버지드 데이터 플랫폼으로 비즈니스 운영 프로세스에 분석적 인사이트를 실시간으로 적용할 수 있도록 적극 지원하고 있다”고 말했다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지