빅데이터를 제대로 활용하기 위한 조건: 데이터 확보와 비즈니스 발굴

[컴퓨터월드] 4차 산업혁명 시대가 본격 열리고 있다. 4차 산업혁명의 핵심 주체는 소프트웨어다. 즉 ▲인공지능(AI) ▲사물인터넷(IoT) ▲빅데이터(Bigdata) ▲클라우드(Cloud) ▲로봇(Robot) ▲3D프린팅 ▲자율주행자동차 등 소프트웨어를 기반으로 한 핵심 기술들과 응용 기술들이 산업과 사회의 경계를 허물게 된다. 다시 말해 소프트웨어를 바탕으로 한 융합의 산물들이 우리사회를 크게 변화시켜 나간다는 것이다.

이 혁명은 기존 1~3차 산업혁명들과는 다른 양상으로 전개될 것이다. 즉 보다 더 빠르고, 더 다양하고 많은 분야에서, 사회 전체 시스템의 변화를 수반하며 사회를 탈바꿈시킬 것이다. 거부할 수 없는 변화의 흐름이자 진화이다. 본지는 이에 따라 4차 산업혁명의 핵심 주체들에 대한 보다 상세한 내용을 살펴보고자 안성원 소프트웨어정책연구소 신기술확산연구팀장이자 공학박사로부터 기고를 받아 10회에 걸쳐 전문가 강좌를 연재한다. <편집자>

▲ 안성원 소프트웨어정책연구소 신기술확산연구팀장
- 고려대학교 컴퓨터공학과 졸업 (컴퓨터공학박사)
- 연구분야: SW신기술/AI, IoT, 빅데이터 등 지능정보기술
/자율주행자동차/지능정보기술인프라
 

1. (인공지능 배경 및 개론) 인간과 컴퓨터 그리고 다가온 인공지능 (’17. 1월호)
2. (자동차) 빅데이터와 인공지능을 활용한 자율주행 자동차 어디까지 왔는가? (’17. 2월호)
3. (IoT & Bigdata & AI) 사물인터넷과 빅데이터 그리고 인공지능으로 이어지는 기술체인 (’17. 3월호)
4. (IoT&AI) 사물인터넷의 기술수준과 사물지능의 실현 가능성 (’17. 4월호)
5. (자동차) 자율주행차를 가능하도록 하기 위한 기반 기술들 (’17. 5월호)
6. (자동차) 커넥티드 카의 실현과 지능형 교통시스템 (’17. 6월호)
7. (Cloud&AI) 클라우드 컴퓨팅과 인공지능의 만남 (’17. 7월호)
8. (BigData) 빅데이터를 제대로 활용하기 위한 조건 : 데이터의 확보 (이번호)
9. (AI&ComputingPower) 고성능 병렬 컴퓨팅 환경의 중요성과 현황
10. (OpenSource) 공유를 통한 발전 사례 비교와 우리의 현황


빅데이터(BigData)는 4차 산업혁명의 핵심 요소 기술 중 하나로 사물인터넷(IoT), 인공지능(AI)과 동반성장 하는 생태계에 속해 있다. 지난 3월호에서 언급한 것처럼 IoT-빅데이터-AI로 이어지는 기술체인은 상호보완적이고 필요충분 조건하에 있기 때문에 이들 각각의 기술 발전없이 4차 산업의 발전은 기대할 수 없다.

빅데이터는 기업들이 새로운 가치를 창출할 수 있는 재료이자, 갚진 보석을 발견할 수 있는 원석과 같은 존재이다. 근래에 빅데이터를 이용해 새로운 서비스를 찾고, 가치를 창출하는 기업들이 업종에 관계없이 늘어나고 있다. 산업과 사회 전반에 걸쳐 ‘데이터를 활용한 가치창출’이 이루어지고 있는 것이다.

기업들은 각자의 목적에 맞는 빅데이터를 수집하고 분석해 새로운 서비스를 제공하고, 이를 통해 디지털 전환(Digital Transformation)을 진행하고 있다. 새로운 가치를 창출한다는 것은 결국 생성된 빅데이터를 필요한 목적에 맞게 가공하고 분석해 새로운 결론을 얻어내고, 이를 통해 최적의 답안을 제시하는 것을 의미한다. 기존 현상에 대한 패턴을 분석해서 향후에 일어날 현상과 상태를 예측하고 대응하는 것이다.


4차 산업혁명의 핵심은 ‘빅데이터’

빅데이터를 활용해 새로운 가치를 창출하는 대표적인 사례를 각 분야별로 몇 가지 살펴보자. 먼저 전통적인 제조 기업의 예이다. SW 및 데이터 분석 기업으로 전환을 선언한 GE는 자사에서 생산중인 비행기 엔진(Genx)에 센서를 부착했다. 그리고 이 센서로부터 수집된 빅데이터를 자사의 클라우드 인공지능 플랫폼인 ‘프리딕스(Predix)’에서 분석한다. 이를 통해 실시간 엔진상태 점검, 정비 시기 알림제공, 비행경로 관리, 비행시간 단축 및 연료절감 등 항공기 유지보수 비용 감소와 안전보장 서비스를 고객(항공사 등)에게 제공하고 있다.

스마트 공장을 실현한 지멘스(Siemens)는 자사의 공장 설비에 센서를 부착하고 네트워크 연결을 통해 IoT를 구현했다. 이 스마트 공장에서 생산되는 모든 제품과 생산 공정은 실시간으로 수집된 데이터를 기반으로 제어된다. 제품 품질상태 및 생산 공정 간의 오류 등의 데이터를 분석해 관리 감독함으로써 불량률을 기존의 2.5% 수준으로 줄였다. 공정상의 오류와 불량품에 대한 롤백(Roll back)을 획기적으로 줄이면서 공장을 가동하는데 필요한 에너지 또한 기존의 70% 수준으로 낮췄다.

유통업체인 아마존(Amazon)은 자사 온라인 쇼핑몰에서 행해지는 고객들의 쇼핑 관련 정보를 수집한다. 이렇게 수집된 데이터를 분석해 고객의 쇼핑패턴을 알아내고, 고객이 원하는 상품 또는 곧 구입할 상품을 예측해 근처의 지점으로 미리 배송해 놓음으로써 배송시간을 획기적으로 단축시켰다. 동시에 유통과 물류에 소비되는 비용 또한 줄일 수 있었다.

인공지능으로 잘 알려진 IBM의 왓슨(Watson)은 의료분야에서 빅데이터를 활용해 괄목할 성과를 보이고 있다. 환자의 의료 빅데이터를 분석한 후 의사에게 정확한 처방을 추천해주고, 200종 이상의 의학 저널 등에서 관련 임상실험 결과와 논문 등의 자료까지 찾아준다.

중장비 제조업체인 캐터필러(Caterpillar)는 자사가 제조 및 판매하는 중장비에 센서를 부착해 실시간으로 데이터를 수집, 자사의 IoT 네트워크인 CAT CONNECT에서 분석해 장비의 상태를 체크하고 부품 교환 가이드를 제공한다. 이를 통해 장비가 공사장에서 고장나 멈춰 있는 시간을 기존의 10% 수준으로 낮추고 작업의 효율성을 증가시키는 서비스를 실현했다.

빅데이터의 활용사례는 정부기관이나 각종 연구소에서도 매우 활발하게 진행되고 있다. 일본 이화학연구소(RIKEN)는 30초 단위로 기상 데이터를 수집하고 빅데이터를 분석해 10분 뒤의 강수확률을 정확하게 예측하는 ‘3차원 현재예보(nowcasting)’ 서비스를 구현했다. 일본 간사이 지방을 대상으로 하는 이 시스템에서는 매 10~30초마다 60km 범위의 100개 각도로 비구름의 위상을 측정한 데이터를 분석한다.

세계 자본 이동의 현황을 파악하는 미 재무부 산하 금융범죄단속반(FinCEN)은 실시간으로 수집하는 금융정보 빅데이터와 인공지능을 활용해 불법 자금의 흐름이나 테러 관련 자금을 파악한다. 우리나라 또한 이를 벤치마킹해 금융위원회 산하 금융정보분석원(FIU)에서 금년 60억 원 규모의 ‘인공지능 기반 차세대 자금세탁방지 분석 시스템’을 구축하고 있다.

입자 가속충돌 시험으로 잘 알려진 유럽 원자핵 공동 연구소(CERN)는 매 실험마다 초당 1페타바이트(PetaByte, PB)1)의 데이터가 쏟아져 나온다. 모든 데이터를 저장할 수 없어 꼭 필요한 극히 일부의 데이터만을 수집 및 저장하고 있는데도, 최근 축적한 데이터가 200PB를 넘겼다고 한다. 그야말로 빅(Big)데이터이다.

빅데이터를 활용해 새로운 비즈니스 아이템을 발굴하는 대표 분야로 금융권을 들 수 있다. 국내 은행 및 카드사들은 빅데이터 분석을 통해 고객의 연령, 성별대별로 라이프 스타일을 파악하고 각각의 관심사에 맞는 금융상품을 설계해 출시하고 있다. 보험사들도 마찬가지이다. 그간의 보험 사례 빅데이터를 분석해 임산부나 어린 자녀를 둔 부모가 사고를 적게 낸다는 사실을 발견하고 관련 상품개발에 응용했다.


GE, 지멘스, 아마존 등 글로벌 기업들 데이터로 돈 번다

이처럼 빅데이터를 활용하는 사례는 계속해서 늘어나고 있다. 중국의 거대 유통기업인 알리바바의 CEO 마윈은 ‘앞으로 데이터를 활용해 돈을 버는 일이 미래의 핵심 가치가 될 것’이라고 언급하기도 했다. 맞는 말이다. 빅데이터의 활용이 늘어남에 따라 시장 또한 가파르게 성장하고 있다. 시장조사 기관인 IDC는 빅데이터 시장이 2015년 이후 연평균 11.3% 이상의 높은 성장세를 이어가며 2020년에는 2,100억 달러까지 성장할 것으로 전망했다. 당장 올해만 빅데이터 분석 시장은 1500억 달러를 넘어설 것으로 예측했다.

빅데이터가 4차산업 혁명시대를 현실로 만들어 주는 중요한 요소기술로 자리 잡은 가운데, 지난 16년 조사 자료에 따르면 국내 기업의 빅데이터 도입률은 전체 기업의 약 4.3%에 불과한 것으로 나타났다.2) 국내 기업의 빅데이터 활용 성장률은 중대형 업체의 경우 20~25% 수준이고, 중소업체의 경우는 더 낮은 5~8% 수준이다.

반면, 외국계 IT 기업은 30% 이상의 도입률로 가파른 성장세를 보이고 있는 것으로 조사됐다. 국내 기업의 향후 빅데이터 수요는 전체기업의 30.2% 수준으로 예측되며, 기업들이 빅데이터 도입을 고려하는 시기는 2018~19년 이후인 것으로 파악됐다.

그렇다면 왜 기업들의 빅데이터 활용률이 이렇게 저조할까? 세계 각국이 4차 산업혁명 시대의 도래와 함께 빅데이터의 중요성을 강조하고, 유수 기업들이 적극적인 투자와 새로운 사업을 발굴해 나가는데, 조사자료에 의하면 우리 기업들의 다수는 아직 제자리걸음이다. 물론 조사당시는 2015년을 기준으로 했기 때문에, 최근 시장 현황과 차이는 있겠지만 아직 우리기업들의 현장에서 빅데이터 활용률은 저조한 것이 사실이다.


국내 기업, 빅데이터 도입률 4.3%로 저조

빅데이터의 활용을 위해서는 크게 두 가지 측면이 전제되어야 한다. 첫 번째는 데이터의 확보이다. 데이터의 확보를 다시 세밀하게 나누자면, 데이터 자체의 확보와 양질의 데이터를 확보하는 것으로 말할 수 있다.

얼마 전 빅데이터 관련 IT업체들과의 모임에서 빅데이터 분석을 잘 하고 있는지에 대한 질문을 했는데, 돌아온 답변은 ‘분석할 데이터가 없어서 잘 못하고 있다’였다. 데이터만 확보된다면 이런저런 사업아이템들을 구현해보고 싶은데, 데이터 확보가 만만치 않다는 것이다. 결국, 국내 기업들의 빅데이터 분석 도입 수준이 뒤처지는 이유는 빅데이터 분석을 할 만큼 풍부한 데이터가 부족하고, 데이터 분석의 고도화를 위한 환경 조성이 미흡하기 때문이다. 빅데이터 활용에서 데이터의 확보가 중요한 이유이다.

데이터를 확보가 안돼 있다는 것은 마치 요리사가 이것저것 요리를 만들어 내고 싶은데 요리할 재료 자체가 없는 것과 같다. 이미 여러 차례 언급했지만 알파고도 빅데이터 학습을 통해 탄생했다. 일부 자본력을 갖추고 시장 확보가 탄탄한 기업들은 자체 인프라를 활용해 데이터를 확보하고 새로운 가치 창출을 시도하고 있지만, 여전히 대다수 기업들은 그리 좋은 성적을 내고 있진 못한 듯하다.

현재 많은 기업들은 데이터 확보에 어려움을 겪고 있는데, 제도적인 측면과 인프라의 부재가 원인으로 꼽힌다. 제도 측면의 대표적인 것이 개인정보 보호법에 의한 제약이다. 개인정보 비식별화를 통한 정부의 가이드라인이 마련되긴 했지만, 아직까지 갈 길이 멀다.

또한 데이터 확보를 위해서는 보다 많은 인풋 채널(input channel) 즉, 데이터 수집수단이 있어야 한다. 온라인상으로 구축된 서비스들은 상대적으로 데이터 수집이 용이하다. 아마존이 자사의 온라인 쇼핑몰에서 사용자의 구매 패턴, 특정 제품의 페이지에 머물렀던 시간, 심지어는 마우스 커서가 올려 있는 대상까지도 고객의 니즈를 예측·분석하기 위한 수단으로 사용한다. 이 모든 것은 비교적 센서와 같은 추가 하드웨어의 보급없이도 이루어진다.

반면, 기구나 장비, 자동차, 생산시설 등 다양한 물체들을 통한 빅데이터의 수집과 그에 따른 서비스를 제공하기 위해서는 센서의 투입과 네트워크 연결이 전제되어야 한다. 그나마 국립연구소 같은 정부기관은 데이터 확보를 위한 센서의 투입 내지는 위성이나 시설 망 등과의 네트워크 연결이 상대적으로 용이하다.

그러나 자본력이 부족한 중소 업체들은 사실상 빅데이터를 활용한 회사의 생산 관리 및 서비스 창출이 어렵다. 이를 해결하기 위해서는 초기 요람시장을 정부협력으로 형성시켜 주고, 시장 내에서 성과가 두드러지는 기업들을 집중 지원해 육성시키는 것도 하나의 방법이 될 수 있다.


외국계 IT기업, 빅데이터 도입률 30% 수준

사회 간접자본과 같은 인프라 측면에서 앞으로 더 많은 센서들이 깔리면서 IoT가 현실화 되고, 여기에서 생성되는 빅데이터를 통해 새로운 서비스가 창출될 것이다. 시기가 문제일 뿐 이러한 현상은 나타날 수밖에 없다. 데이터를 수집하기 위한 장치들이 보다 대중화 되고, 우리 주변의 거의 모든 곳에 보편화되기 위해서는 돈과 시간이 필요하다.

데이터가 확보되었다면, 양질의 데이터를 걸러내는 것도 중요하다. 많은 인풋 채널을 통해 수집한 데이터는 크게 의미가 없는 데이터들도 많이 포함되어 있을 가능성이 높다. 따라서 빅데이터를 통해 새로운 비즈니스를 창출하기 위해서는 비즈니스를 가능하게 하는 데이터를 걸러내는 것이 필요하다. 수집한 빅데이터에서 일정한 규칙성을 갖는 요소들을 골라내고, 이들을 관찰하여 문제해결을 위한 새로운 아이디어를 발굴하거나 비즈니스 모델을 수립할 수 있다. 이는 다음으로 설명할 비즈니스 모델과도 연관성이 있는데, 빅데이터 분석을 통한 비즈니스 모델의 발굴은 다분히 귀납적(Bottom Up)3)인 방법이라 할 수 있다.

빅데이터를 잘 활용하기 위한 두 번째 측면은, 비즈니스 모델에 대한 발굴이다. 빅데이터는 그저 데이터를 많이 모았다고만 해서 가치를 갖는 것은 아니다. 해당 데이터를 분석하여 새로운 요소를 분석해내고, 미래를 예측하고, 새로운 비즈니스 아이템, 새로운 서비스를 발굴해 내어야 비로소 가치를 갖는다. 비즈니스 모델에 대한 발굴은 ‘어떤 데이터를 모아야 할 것인가’에 대한 답변도 될 수 있다.

기업들의 빅데이터 활용도가 부족한 것은 데이터의 확보 문제도 있지만, 데이터를 통해 어떠한 비즈니스를 발굴해 내야하는지를 못 찾았거나 찾더라도 그 사업성이 불투명하기 때문이기도 하다. 이러한 문제는 유사 업종의 선진 기업들을 벤치마킹 하고, 각각의 장점을 살릴 수 있는 아이템을 스스로 찾음으로써 해결할 수 있다.

새로운 가치사슬을 만들어 내거나, 가치창출을 위해 디지털 전환을 하기 위해서는 고객의 니즈(Needs)를 잘 파악하고 그에 맞춘 비즈니스 모델을 수립하는 것이 필요하다. <그림>은 데이터 기반의 서비스 모델로 앞선 GE, 지멘스, 캐터필러 등의 예에서와 같이 비즈니스 모델을 발굴해 빅데이터를 활용하는 개념과 과정을 도식화 한 것이다.

▲ <그림> 데이터 기반의 서비스화 (제조업의 예)
※자료참조 : 지능정보기술기반 Energy management 기술동향 및 전망. 2017. (재편집)

<그림>에서처럼 소비자의 요구에 따라 제품을 구성하고 스마트한 공정을 통해서 생산 및 판매를 하는 모든 과정에서 데이터가 활용된다. 데이터 수집을 통해 고객의 니즈를 분석하고, 그에 따른 제품 기획 및 시뮬레이션을 거쳐 제품이 생산된다.

이 과정에서 생성되는 데이터는 다시 생산 공정에 반영된다. 즉, 새로운 비즈니스 모델의 생성, 기존 비즈니스 모델의 수정 및 보완에 사용된다. 고객 및 생산 공정에서 축적된 데이터는 다시금 각 레이어별로 맞춤형 서비스도 가능하다. 스마트한 생산과 스마트한 서비스가 빅데이터에 의해 맞물려 있는 것이다.

아마존, IBM, 금융 및 보험사 등의 비즈니스 모델 또한 <그림>의 과정과 유사하다. 스마트공장(지능형생산)에 해당되는 레이어가 생략되거나 유통 등의 서비스 형태로 바뀌면 된다.


빅데이터 본격 도입시기는 2018년 이후부터

정리하면, 빅데이터의 활용률을 높이기 위해서는 우선 데이터를 확보하고 분석하는 것이 필요하다. 그리고 비즈니스 모델을 수립하고 그에 맞춘 양질의 해당 데이터를 다시금 확보하는 것이 중요하다.

경험이 풍부하고 데이터를 많이 확보하고 있으며 비교적 안정적인 궤도에 올라있는 기업이든, 중소 또는 신생기업이든 먼저 치밀한 비즈니스 모델을 세우고 기획해 그에 맞는 데이터를 확보하는 것은 매우 좋은 전략일 수 있다. 다만, 비즈니스 모델의 발굴은 데이터 축적을 근거로 하는 경험적 아이디어에서부터 비롯된다고 볼 수 있기 때문에 결국엔 이것도 데이터의 확보가 관건이다.

지금까지의 경험에서 알 수 있듯이 과거 많은 과학 성과는 관찰에서 비롯되었다. 이렇게 축적된 성과를 바탕으로 새로운 기획을 하기도 하고, 또 애초 기획한 의도와는 다른 성과를 얻을 수도 있다. 데이터를 모으고 분석하다 보면 그동안 미처 인지하지 못했던 패턴을 발견할 수도 있다는 것이다. 기획은 어느 정도 기본적인 데이터에 의한 경험적 축적이 있어야 가능하다는 의미다. 그만큼 데이터의 확보는 중요하다.

앞으로는 보다 많은 센서가 사회간접자본이나 인프라에 설치되고, 더 많은 사물과 사람들이 더 쉽게 네트워크에 연결되면서 데이터는 넘쳐날 것이다. 상대적으로 데이터를 얻을 수 있는 기회가 많은 환경에서는 빅데이터 분석을 통한 신 서비스 발굴이 기업의 성패를 가를 것이다.

고객의 수요와 데이터의 확보를 통한 비즈니스 모델의 발굴, 그리고 발굴한 비즈니스 모델을 통한 양질의 데이터의 확보, 이 순환적인 방법의 가치창출이 결국 4차 산업혁명 시대를 이끄는 하나의 패러다임이 될 것이다.

이 패러다임에 따라 기업들의 ‘디지털 전환’이 가시화 되고 있는 지금, 우리는 데이터 확보에 걸림돌이 될 제약사항을 없애주고 보다 다양한 시범사업들을 추진하면서 성공 사례를 전파하는 민‧관 합동의 노력이 필요하다. 기업들도 이미 분석된 결과를 통한 가치창출 보다 직접 대량의 데이터를 확보 및 축적, 분석해 새로운 가치창출을 위한 노력을 기울여야 한다.

1) 1PetaByte = 1024TeraByte

2) 한국정보화진흥원(NIA), 2015년 빅데이터 시장현황조사, 2016. 자료 참조.

3) 귀납(歸納, induction) : 개별적인 사례로부터 일반적인 명제 또는 진리를 설정하는 방법.

저작권자 © 아이티데일리 무단전재 및 재배포 금지