MySQL 활용한 빅데이터 분석 플랫폼 ‘테라원’ 적용사례 소개

 

[컴퓨터월드] 데이터스트림즈가 지난달 12일 인터콘티넨탈 호텔 서울 코엑스에서 ‘Jump into DataStreams with MySQL!’이라는 주제로 세미나를 개최했다. 공공 금융 제조 분야 등의 고객을 대상으로 한 이번 세미나에서 데이터스트림즈는 대표적인 오픈소스인 MySQL을 활용한 자사 빅데이터 분석 플랫폼인 ‘테라원(TeraONE)’의 소개와 동시에 적용사례를 발표했다.

기술 개발의 중요성 강조

세미나 시작에 앞서 이영상 데이터스트림즈 대표는 “데이터스트림즈는 회사 설립 이후 20여 년 동안 데이터라는 한 분야에만 집중해왔다”며 “그동안 개발한 자체기술을 제품에 적용시켜왔으며, 앞으로도 이러한 상황을 계속될 것”이라는 말로 기술개발의 중요성을 얘기했다.

이 대표는 이어 MySQL이 오픈소스라는 점을 강조했다. 현재 데이터스트림즈가 집중하고 있는 빅데이터는 오픈소스가 없었으면 불가능했을 것이라며, 상용소프트웨어의 기술 역시 오픈해 서로 공유함으로써 행복을 추구해나가는 방향으로 발전해야 할 것이라고 주장했다. 또한, 데이터 통합의 중요성에 대해서도 언급, DBMS기술도 중요하지만 저장된 데이터를 활용하기 위한 데이터통합이 무엇보다 필요하다고 덧붙였다.

가장 먼저 주제발표에 나선 김시영 한국오라클 부장은 MySQL에 대해 소개했다. “세계에서 가장 널리 보급된 오픈소스 DB가 ‘MySQL’이다”라고 말한 김 부장은 “MySQL은 클라우드 분야 1위 데이터베이스로 세계 최고 10개 웹사이트 중 9곳이 사용 중이고, 최고 10개 ISV 중 8곳이 자사 솔루션에 MySQL을 임베드해 개발 중이며, 빅데이터 플랫폼의 80%가 하둡과 함께 MySQL을 통합해 사용 중”이라고 주장했다. 실제 아마존을 비롯해 페이스북, 야후, 이베이 등에서 MySQL을 사용 중이며, 국내에서도 삼성을 비롯해 포스코, 쿠팡, NHN, IBK투자증권 등 다양한 산업분야에서 활용되고 있다.

김 부장은 또한 MySQL 엔터프라이즈 에디션은 확장성이 뛰어나고, 고가용성, 보안 감사 등 향상된 기능을 갖고 있을 뿐 아니라, 모니터링, 백업, 개발, 관리, 마이그레이션 등 편리한 관리 툴도 제공한다고 말했다. 김 부장은 MySQL 엔터프라이즈 에디션은 일반 커뮤니티 버전과는 달리 지원이 완벽하다는 점도 내세웠다. 최대 규모의 MySQL 엔지니어링 지원조직을 갖추고 있으며, 전 세계 29개 언어를 지원하는데다, 컨설팅은 물론 횟수에 관계없이 1년 365일 무제한 지원이 가능하다는 것이다. 이외에 MySQL과 관련해 기술교육 및 헬스체크 프로그램을 운영하고 있다는 점도 부각했다.

박시영 데이터스트림즈 상무는 자사 빅데이터 플랫폼인 테라원(TeraONE)을 소개했다. “데이터스트림즈는 빅데이터의 통합, 구현, 데이터거버넌스, IoT 컨버전스 등의 이슈들에 대해 비용효율적이고 간편하며 동시에 풍부한 사용자 경험을 가져다줄 수 있는 솔루션 제공을 목표로 하고 있다”고 밝힌 박 상무는 먼저 전통적인 DW플랫폼과 빅데이터 플랫폼 간 차이에 대해 설명했다. 원천데이터의 ETL과 저장 분석과정은 비슷하나 개발, 구축 시 구현 기술이 상이해, 기존 개발방식과 다른 새로운 빅데이터 생태계(Eco-System)기술을 익혀야 한다는 것이다.

그는 데이터스트림즈의 빅데이터 플랫폼 접근방법으로 ‘빅데이터와 RDBMS를 동시에 처리할 수 있는 플랫폼을 통해 각각의 장점을 살린 아키텍처로 구현 한다’는 점을 들었다. 전통적인 SQL기술 및 ETL, CDC, OLAP 기술에 거버넌스 기술을 활용해 하나의 플랫폼을 구성한다는 것이다.

테라원(TeraONE)을 ‘데이터스트림즈의 수퍼DW 아키텍처 개념을 구현하기 위한 빅데이터 플랫폼’으로 정의한 박시영 상무는 테라원의 장점으로 노드의 추가로 선형적인 성능 증가, GUI를 통한 다양한 M/R프로그램 구현 및 데이터전송 기능제공, 예약 스케줄링 및 워크플로우를 통한 데이터 연계 기반기능 제공, 분석기능 연계 및 SQL온하둡(SQL on Hadoop) 쿼리 브라우즈 기능 제공 등을 들었다.

디스크기반의 대량 배치 데이터처리에서 월등한 성능을 기록하고, 인메모리기능 사용 시 최고의 실시간 스트림 처리 성능을 발휘하며 스쿱(Sqoop) 대비 3배 이상의 데이터 적재성능을 제공한다는 것이 박시영 상무의 주장이다.

청호나이스 IoT 서비스에 테라원 적용

박시영 상무는 테라원의 적용 사례도 소개했다. 청호나이스 IoT 서비스에 테라원이 적용됐는데 기존 고객정보와 제품의 기기 로그정보를 실시간으로 수집 및 분석해 새로운 서비스를 창출했다는 것이다.

청호나이스는 IoT 서비스 빅데이터 시스템 구축으로 고객 만족도와 기업이미지를 향상시킬 수 있었다. 먼저 ▲빅데이터 분석결과 고객 맞춤형 제품 및 서비스 제공 ▲고객 이용패턴 분석 결과 고객 알림서비스 제공 ▲기기오류 로그분석을 통해 고장 장애에 선제적 대응 ▲필터 교환 및 BST 주기 최적화로 자원낭비 최소화 등 대고객 서비스가 크게 강화됐다. 또한 다양한 IoT 기능 활용과 민원에 대한 적절한 대응, 고객 분석 데이터 활용으로 고객의 요구사항에 대한 발 빠른 대응, 데이터 기반의 민원 의사결정 토대 마련 등을 통해 고객 만족도를 높일 수 있었다.

▲ 이영상 대표는 “데이터스트림즈는 회사설립 이후 20여 년 동안 데이터 분야에만 집중해 왔다”는 점을 강조했다.


이상옥 데이터스트림즈 본부장은 금융권의 빅데이터 플랫폼 구축사례에 대해 소개했다. 그는 먼저 “은행의 경쟁상대는 은행이 아닌 구글”이라는 미래학자 브렛킹(Brett King)의 말로 금융 산업의 변화를 강조했으며, 단적인 예로 케이뱅크가 3일 만에 10만 고객을 확보했다는 점을 들었다.

이어, 금융권의 빅데이터 도입 필요성으로 ▲실시간 상품 추천 및 신규 상품 개발의 필요성 ▲신규 고객 발굴 및 타기팅 ▲모바일 지급결제 시스템, 비대면 온디맨드 금융확장 등 파괴적 혁신 시대의 효과적 생존 전략, 보험 상품 가격최적화, 고객 맞춤형 상품 추천 등 맞춤형 서비스 확대를 통한 만족도 제고 등을 들었다.

이 본부장은 은행의 사례로 씨티뱅크(고객 거래 내역), 국민은행(지도 GIS 정보와 고객 거래 데이터 결합), 뱅크오브 아메리카(신규 수익 창출을 위한 소비자 트렌드 분석)등을, 카드 사례로 마스터카드(리스크 관리), 삼성카드(CLO서비스), 비자카드(실시간 타깃 마케팅), 신한카드(고객 성향/패턴 분석) 등을 예로 들면서 “현재 국내 은행은 빅데이터를 주로 상품 추천과 고객 이탈 방지에 적용하고 있다”고 귀띔했다.

이외에 보험사의 상품가격 최적화, 보험사기 방지 등의 사례, 증권사의 고객 감성분석, 시장 환경/트렌드 분석 등에 대해서도 소개했다. 머신러닝 기법을 도입해 통화습관, SNS, 부동산 등 다양한 정보를 분석, 대출 심사 정확도를 제고하는 등의 핀테크 사례는 특히 참석자의 많은 관심을 끌었다.
데이터스트림즈는 스마트 팩토리에 대해서도 관심을 보였다. ‘IoT&Big Data in Smart Factory'라는 주제로 발표에 나선 전완기 데이터스트림즈 본부장은 먼저 가트너의 자료를 인용, 2017년 10대 전략 기술트렌드를 소개했다.

10대 전략 기술 트렌드는 인텔리전트 분야의 인공지능과 지능형 앱, 지능형 사물(Intelligent Things), 그리고 디지털 분야의 가상현실과 증강현실, 가상현실에서 전체 시스템을 운영해보는 디지털 트윈스(Twins), 불록체인, 그리고 마지막으로 메시(Mesh) 분야의 대화형 시스템, 메시 앱 서비스 아키텍처, 디지털 테크놀로지 플랫폼, 보안 아키텍처 등이다.

“스마트 팩토리는 ICT와 기계 산업의 융합을 통해 제조업의 완전 자동 생산을 구축하고 모든 생산과정을 최적화하는 인더스트리 4.0 패러다임을 제조현장에서 실현한 것”이라고 말한 전완기 본부장은 제조업 시장 과열, 생산인구 감소, 노동생산성 제고, 자원 효율성 제고 등 제조환경이 변화되고 있다는 점을 강조했다. 과거 인력 위주에서 현재의 자동화 시대를 거쳐 스마트 시대로 진화하고 있다는 것이다.

“외부변화를 감지하는 ‘센서’와 감지된 변화에 대해 판단하는 ‘컨트롤(Control)’, 판단에 따라 조치하는 'Actuator'를 스마트 팩토리를 위한 3요소”라고 말한 김 본부장은 “스마트 팩토리는 기술 및 기능에 대한 요건과 더불어 품질 효율성 유연성에 대한 성과요건을 갖추는 것이 중요하다”고 주장했다.

전 본부장은 스마트 팩토리의 평가에 대해서도 언급했다. 공장관제, 제조운영, 정보인프라, 자동화 등 평가모델이 4개로 구분되며 각 모델별로 미적용, 디지털 정보화, 리얼타임화, 리얼타임 응답/컨트롤(Response/Control), 가상 물리 생산(Cyber Physical Production) 등 5단계 구분평가가 가능하다는 것. 전 본부장은 현재 대부분 기업이 4번째 단계에 와있으며 5단계로 넘어가는 시점에 있다고 말했다.

스마트 팩토리를 위한 솔루션은 프로세스 및 제조환경 개선 등 다양한 부분에 적용되고 있다. 전완기 본부장에 따르면 스마트 팩토리와 관련해 데이터스트림즈의 주요 솔루션 영역은 IoT 플랫폼과 분석 플랫폼이다.

IoT 플랫폼인 테라스트림 바스(TeraStream BASS)는 다양한 장비 로그 데이터, 각종 센서 데이터, RDB정형 데이터를 고속으로 수집, 저장하고 실시간으로 모니터링하고 분석해 의사결정을 돕는 IoT 데이터 실시간 스트리밍 플랫폼이다. 빅데이터 플랫폼인 테라원(TeraOne)은 빅데이터 거버넌스를 기반으로 실시간 IoT 데이터, 다양한 형태의 정형 및 비정형 빅데이터를 하둡 기반 빅데이터 플랫폼인 테라원에 저장하고 분석 및 시각화한다.

한편 스마트 팩토리를 위한 수집 및 분석 플랫폼은 능동적 업무수행을 비롯해 지능성, 신뢰성, 안정성, 연계성 등 5가지 특징을 갖춰야 한다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지