모비젠, 고급분석과 인공지능 접목한 차세대 빅데이터 플랫폼 출시
[컴퓨터월드] 빅데이터라는 단어가 등장하기 이전에도 대량의 데이터는 존재했고, 일부 분야에서는 비즈니스를 위해 이를 처리할 수 있는 역량을 필요로 했다. 통신 산업은 그 대표적인 곳 중 하나로, 특히 현대 IT 발전의 한 축이자 기반이 되고 있는 이동통신 분야의 경우 데이터의 양뿐만 아니라 빠르고 안정적인 처리 또한 요구됐다.
지난 2000년 설립된 모비젠(대표 이명규)은 창사 이래로 대규모 통신망과 네트워크 관리, 대용량 데이터 및 트래픽 처리에 대한 기술을 쌓아온 기술주도형 소프트웨어(SW)기업이다. 우리나라 통신 분야의 급격한 발달과 함께 성장해온 이 회사가 그간 축적된 데이터 처리·분석 관련 기술력과 노하우를 바탕으로 지능형 통합 분석 플랫폼을 새롭게 선보인다. 모비젠이 제시하는 청사진을 들여다본다.
빅데이터 어플라이언스 ‘IRIS DB’의 진화
모비젠의 본격적인 성장은 지난 2005년 국내 최초로 통신사에 대용량 과금 데이터를 활용한 통신망 품질 분석 솔루션을 공급하면서부터 시작됐다. 2010년대 들어 빅데이터가 산업분야 전반에 걸쳐 화두로 떠오르자, 그동안 대량의 통신 데이터를 실시간으로 분산 처리하며 역량을 키워온 모비젠은 이에 발맞춰 빅데이터 데이터베이스(DB) 어플라이언스 ‘아이리스(IRIS) DB’를 출시하면서 빅데이터 및 IoT(사물인터넷) 솔루션 시장에 뛰어들었다.
일반적인 DBMS(DB관리시스템)에서 처리할 수 없는 초대용량의 데이터 처리를 목표로 개발된 분산 DBMS ‘아이리스DB’는 ▲실시간 인메모리 처리를 우선하되 시간이 지나면 디스크로 보내는 하이브리드 아키텍처 ▲페타바이트(PB) 규모 데이터도 1기가바이트(GB) 단위로 나눠 저장되는 인서트 성능 ▲SQL 지원 및 비용효율적 구축 등의 특장점을 앞세워, ‘오라클 엑사데이타’, ‘IBM 네티자’, ‘HP 버티카’ 등의 외산 솔루션들을 대체하면서 그 영역을 넓혀나갔다.
주로 네트워크 모니터링과 보안관제 분야에서 도입이 이뤄진 ‘아이리스DB’는 데이터의 폭증에 따라 그 성능도 지속적으로 개선돼, 한 고객사의 경우 하루 데이터 처리량이 지난 2008년 1억 건 수준에서 현재 1천억 건 규모로 천 배가량 늘어났다. 이밖에도 모비젠은 페타바이트 규모 데이터를 단일시스템으로 처리한 구축사례를 다수 보유하고 있다.
‘Beyond IRIS’, 고객의 니즈에 응하다
국내 빅데이터 시장이 태동하고 어느덧 5년여의 시간이 흘러, 이제 기업들도 새로운 기술에 대한 막연한 기대와 무분별한 도입에서 벗어나 그 실질적인 활용과 가치 창출에 초점을 맞추는 추세다. 또한 지난해 ‘알파고’의 등장으로 인공지능(AI) 기술의 발전상이 널리 알려져 다양한 분야에 본격적으로 적용되기 시작하면서 관련 시장은 새로운 국면으로 접어들고 있다. 모비젠이 기존 제품과 차별화된 차세대 ‘아이리스’를 기획하게 된 이유다.
이달 초 온라인에 공개, 오는 9월 제품발표회도 개최 예정인 모비젠의 새로운 솔루션은 ‘Beyond IRIS’라는 주제로 차세대 지능형 통합 분석 플랫폼을 표방한다. 성숙해진 시장의 니즈에 따라 고급분석(Advanced Analytics)을 통한 보다 심층적인 인사이트 발굴을 돕고, 빅데이터를 바탕으로 머신러닝(기계학습) 기능을 지원함으로써 인공지능 기반 솔루션 개발 수요에 대응한다는 전략이다.
아울러, 기존 ‘아이리스DB’가 정형·비정형 데이터 처리 및 시스템 운영 등의 성능적인 측면에 집중했다면, 새로운 ‘아이리스 지능형 통합 분석 플랫폼’은 이를 기반으로 한 실질적 활용에 중점을 두고 분석을 위한 기능까지 추가됐다.
예를 들어, 기업의 일반적인 분석 프로세스에서는 분석가가 분석에 필요한 데이터를 마련할 때 인프라를 담당하는 개발자와의 협업이 요구되는데, 이는 종종 비용 증가와 분석업무 지연을 불러일으키기도 한다. 이에 ‘아이리스 지능형 통합 분석 플랫폼’은 손쉬운 빅데이터 수집·저장·검색 및 타 분석 솔루션과의 원활한 연계를 지원함으로써 끊김 없는(seamless) 분석 업무 수행을 가능케 한다는 설명이다.
데이터 브라우저 및 전용ETL 탑재
먼저 ‘아이리스 지능형 통합 분석 플랫폼’은 자체 개발한 전용 ETL(추출·변환·적재) 솔루션을 탑재했다. ‘아이리스DB’에 최적화돼 더 빠른 데이터 통합을 가능케 할뿐만 아니라, 일반적인 ETL 솔루션들로는 수행하기 어려운 대용량 스트림 데이터에 대한 처리도 지원한다. 또한 ETL 과정에서 데이터 이동이 어떤 이유에서든 일시적으로 중단됐다가 재개되는 경우, 현재 입력되는 데이터부터 빠르게 처리하면서 백그라운드에서 누락된 부분을 천천히 처리하는 방식의 차별화된 기능도 제공한다.
‘아이리스 지능형 통합 분석 플랫폼’의 가장 큰 특징 중 하나는 새롭게 추가된 ‘데이터 브라우저’다. 빅데이터 플랫폼에 저장된 데이터를 자유롭게 확인할 수 있는 방법이 드물다는 점에 착안, 검색엔진 기반의 데이터 탐색 도구를 자체 개발해 탑재했다. 데이터마트처럼 분석으로 위한 데이터가 따로 정리된 곳이 아니라, HDFS(하둡 파일시스템)와 같은 빅데이터 저장소에 있는 데이터를 직관적인 GUI(그래픽유저인터페이스)를 통해 수월하게 찾을 수 있게 한 것이다.
이로써 분석가들은 스스로 원하는 조건의 로(raw)데이터를 고속검색을 통해 찾아 분석에 필요한 데이터를 마련할 수 있고, 딥러닝의 경우 목적에 따라 학습시킬 데이터를 선별해 보다 효율적으로 결과를 도출할 수 있다. 탐색한 데이터를 바로 분석해볼 수 있도록 기본적인 통계 분석과 피벗 및 랭킹 등의 기능도 함께 제공되고, 드래그-앤-드롭 방식으로 간편하게 시계열, 분포, 관계, 이상치 등을 확인할 수 있는 시각화 기능도 포함됐으며, 반복적인 작업을 위한 워크플로우 자동화 기능도 지원한다.
모비젠은 오픈소스 인메모리 분석 프레임워크 스파크(Spark)를 ‘아이리스DB’ 내 데이터를 가져올 수 있도록 커스터마이징해 중간레이어로 삼아, 그 위에 표준 API를 만들어 이러한 여러 기능을 구현했다. 이 때문에 고급사용자의 경우 필요 시 SQL뿐 아니라 스파크 코드로도 분석을 수행할 수도 있으며, ‘데이터 브라우저’에는 이를 활용한 머신러닝 기반 이상탐지 기능도 내재돼있는 등 다양한 활용방안을 마련했다.
머신러닝 지원과 협업 생태계 조성
모비젠은 지난 2013년부터 이동통신 분야 통화 품질에 대한 분석을 수행하면서 머신러닝 관련 역량을 키워왔다. 기존의 이동통신사 장애관리 시스템은 전국 기지국 장비의 이상 유무로 통화 품질을 측정했는데, 이를 통해 품질 지표가 99.9%를 기록해도 통화 품질이 좋지 않은 경우가 종종 발생했다. 평소보다 전화를 짧게 끊고 다시 거는 등의 행동패턴에 주목, 기지국의 요일별 및 시간대별 통화 관련 데이터를 기반으로 머신러닝을 적용해 사용자 행동패턴에 따른 통화 품질 이상 유무를 파악하는 시스템을 마련했다.
이 프로젝트의 결과물은 현재 해당 이동통신사의 전국 기지국에 적용돼, 전국적인 대형 장애를 사전에 방지하는 등의 성과를 거뒀다. 이를 시작으로 모비젠은 AI 분야에 대한 연구개발에 본격적으로 착수, 지난해 1월에는 딥러닝 연구개발팀도 추가로 구성하는 등 집중적으로 투자하고 있다. ‘아이리스 지능형 통합 분석 플랫폼’을 바탕으로 AI 관련 개발을 보다 수월하게 할 수 있는 환경을 조성한다는 목표로, 앞으로 딥러닝 엔진도 자체 개발해 ‘아이리스 지능형 통합 분석 플랫폼’에 연내 탑재한다는 계획도 갖고 있다.
나아가 모비젠은 ‘아이리스 지능형 통합 분석 플랫폼’ 기반의 빅데이터 및 인공지능 분야 생태계 조성을 꾀한다. ‘아이리스 지능형 통합 분석 플랫폼’에는 R, 제펠린(Zeppelin), 주피터(Jupyter) 등 오픈소스 분석도구가 통합됐으며, ‘태블로’, SK텔레콤의 ‘메타트론’, 비아이매트릭스 ‘매트릭스’ 등 상용 BI(비즈니스 인텔리전스) 솔루션과의 연동도 지원한다. ‘데이터 브라우저’와의 연계를 통해 사용자가 자신에게 친숙한 분석도구로 보다 심층적인 분석을 수행할 수 있도록 돕는 동시에, 파트너들과 새로운 비즈니스 기회를 발굴하는 장을 마련하는 셈이다. 앞으로도 모비젠은 여러 전문기업들과 협업해 이러한 생태계를 조성하고 확대해나갈 계획이다.
| [인터뷰] “새로운 도약 위해 글로벌 도전”
모비젠은 SK텔레콤의 주요 비즈니스 파트너로, 이번 ‘아이리스 지능형 통합 분석 플랫폼’에는 SK텔레콤의 빅데이터 분석 솔루션 ‘메타트론’과 차세대 네트워크 운용 플랫폼 개발 과정에서 확보한 기술 노하우 및 SSD 특화 실시간 빅데이터 분석 가속 엔진 등을 적용하기로 했다. 또한 대표적인 국산 BI 전문기업인 비아이매트릭스, 시각화 솔루션 ‘태블로’의 국내 총판을 맡고 있는 플랜잇과 전략적 제휴를 통해 각사 솔루션을 연동했다. 모비젠의 새로운 플랫폼이 ‘데이터 레이크(Data Lake)’ 역할을 맡으면서 로데이터 브라우징까지 돕고, 이를 기반으로 사용자가 전문적인 분석SW들을 활용해 데이터의 사용이나 공유에 제약 없이 심층적인 분석을 수행할 수 있도록 지원하는 구조다. 앞으로도 이러한 협업을 통해 고객의 선택폭을 넓히면서 SW기업들 간의 상생도 추구하고자 한다.
‘아이리스 지능형 통합 분석 플랫폼’에는 모비젠이 10여 년간 대량의 데이터를 다루면서 쌓아온 기술력과 노하우가 녹아있는데다, 사용자 친화적인 솔루션을 만들기 위해 분석가들의 고충을 해결하기 위한 여러 노력을 기울였다. 실제로 솔루션 개발에 자사 분석팀이 참여해 방향을 제시했고, 분석 단계별 표준 프로세스를 정립해 적용한 것도 그 일환이다. 때문에 통신, 보안, 제조, 금융 등 다양한 산업분야로 사업영역을 확장해나갈 수 있을 것으로 기대하고 있다. 특히 통신사와 전력사를 주요 수요처로 보고 있다. 통신사는 기존에 공급했던 ‘아이리스DB’의 업그레이드 수요가 있을 것으로 보이며, 전력사의 경우 인프라가 통신 분야와 상당히 유사하다는 점에서 새롭게 개척해나갈 시장으로 여기고 있다. 통신과 전력은 전혀 다른 산업분야인줄 알았는데, 망의 구조가 전반적으로 유사한데다 데이터 처리·분석에 대해 비슷한 고민을 하고 있다는 점이 흥미로웠다.
대부분의 빅데이터 사업이 이제 정착돼가는 단계로 보이며, 고객들의 요구도 보다 현실적이고 명확해지는 추세다. 모비젠은 이러한 시장의 니즈에 발맞춰 지능형 통합 분석이라는 해답을 제시하고자 한다. 또한 AI 분야에 대한 전폭적인 투자와 여러 SW전문기업들과의 협업을 바탕으로 국내 빅데이터 및 AI 생태계가 활성화되는 발판을 마련한다는 방침이다. 궁극적으로 겨냥하는 목표는 글로벌 시장이다. 빅데이터나 AI와 같은 전문적인 SW에게 국내 시장은 협소할뿐더러, 국내 수요만을 바라보고 의지한다면 회사의 성장은 정체될 수밖에 없다고 생각한다. ‘아이리스 지능형 통합 분석 플랫폼’ 역시 처음부터 글로벌 시장 진출을 염두에 두고 개발했으며, 현지 업체를 통해 제품을 판매해본 경험이 있는 일본 시장부터 본격적으로 공략할 계획이다. 우리가 만든 제품을 전 세계 사람들이 쓰는 모습을 보는 것이 모비젠을 설립할 때부터 꿈이었는데, ‘아이리스 지능형 통합 분석 플랫폼’을 통해 그 꿈에 더 가까워지고 싶다. |
