08.18
주요뉴스
뉴스홈 > 비즈니스IT
[공개SW 활용사례] SKT, 오픈소스 기반 빅데이터 인프라 구축전면적인 공개SW 도입 통해 대량 데이터 수집 및 분석

본 공개SW 활용 성공사례는 컴퓨터월드와 정보통신산업진흥원 공개SW 역량프라자가 공동으로 발굴한 기사입니다.

   
 

[컴퓨터월드] SK텔레콤(SKT)은 국내 IT산업에서 한 축을 이루고 있는 통신업계의 대표적인 대기업으로, 국내 이동통신시장에서 오랫동안 점유율 선두를 지키고 있다. 올해로 창사 30주년을 맞은 SK텔레콤은 새로운 화두로 ‘ICT노믹스’를 제시, 앞으로의 30주년을 위한 먹거리를 찾아 나섰다.

통신으로부터 발생되는 빅데이터의 본격적인 활용 또한 새로운 먹거리에 포함된 것은 당연했다. 그러나 이를 위해서는 먼저 대량의 데이터를 수집 및 분석할 수 있는 인프라가 뒷받침돼야 했는데, 기존 상용SW 도입을 통해서는 원하는 수준의 성능을 구현하는데 지나치게 많은 비용이 든다는 점이 문제였다.

이에 따라 SK텔레콤은 빅데이터를 위한 인프라를 전부 오픈소스 기반으로 계획, 대량의 데이터를 수집 및 분석할 수 있는 시스템을 공개SW만으로 구축하는데 성공했다.

 

   
 

1984년 차량전화(AMPS 방식)로 사업을 개시한 SK텔레콤은 1996년 CDMA 상용화 이후 대표적인 이동통신사로 자리매김, 광대역 LTE-A가 서비스되는 현재에 이르러서도 시장점유율 50% 이상을 고수하고 있다.

올해로 창사 30주년을 맞아 SK텔레콤은 미래 30년 ICT 발전방향에 대한 화두로 ‘ICT노믹스(ICT + Economics)’를 제시했다. SK텔레콤에 따르면, ‘ICT노믹스’는 인공지능이 적용된 모든 사물과 인간이 유기적으로 연결되고, 디지털화된 산업들이 ICT를 바탕으로 융합 및 재편됨으로써, ICT가 생산과 소비뿐만 아니라 사회 전반에 걸쳐 혁명적 변화의 촉매로 작용하는 새로운 형태의 경제다. 또한 빅데이터 인프라와 인공지능 기술이 융합된 지능형 플랫폼이 향후 10년간 최대 격전지로 전망됐다.

 

공개SW 전면 도입

그동안 버려졌던 데이터들까지 활용 가능한 인프라 구축을 계획한 후, SK텔레콤도 처음에는 기존에 사용하던 버티카(Vertica)를 대신해 클라우데라의 하둡 시스템 구입을 고려했다. 하지만 서버 당 연간 400만 원에 가까웠던 가격은 대규모 시스템을 구축하는데 부담스러운 액수였다. 게다가 다른 공개SW를 추가적으로 활용하기에 제약이 있다는 단점도 존재했다.

이에 따라, SKT 성장기술원의 데이터테크 랩(Data Tech. Lab)은 오픈소스 기반 인프라를 구축하기로 결정, 2013년 들어 본격적으로 착수했다. 하둡(Hadoop) 서버를 기존 40대에서 1,100대까지 늘리면서 주키퍼(Zookeeper), 플럼(Flume), 스톰(Storm), 스파크(Spark) 등을 구비하는 한편, SQL 온 하둡(SQL on Hadoop)으로 기존에 사용하던 하이브(Hive)에 더해 임팔라(Impala)와 타조(Tajo)를 도입했다. 구축 당시 임팔라와 타조 외에는 BMT(벤치마크 테스트) 결과만 제시되는 등 실질적으로 선택이 어려운 상태였다는 것이 SK텔레콤 측의 설명이다.

특히 고려대학교 정보통신대학 컴퓨터학과 DB연구실에서 개발되기 시작해서 최근 호튼웍스의 하둡 배포판에도 포함된 타조의 경우, SK텔레콤에서 그 가능성을 인정하고 초기부터 시범적으로 적용하면서 함께 프로젝트를 발전시켜왔다. 처리속도는 빠르지만 접근하려는 데이터양이 일정 수준 이상 올라가면 작동하지 않거나 불안정해지는 임팔라와 달리, 타조는 맵리듀스보다 우수한 속도를 제공하면서 데이터양이 많아져도 안정적이란 점에서 선택됐다. 현재는 하이브와 함께 각각의 용도에 맞춰 사용하고 있다.

하둡 위주에 멤캐시디(Memcached)도 활용하는 효율적인 시스템 구성이지만, 최종적으로 정제된 일부 데이터를 위한 RDBMS로는 소수의 마리아DB(MariaDB)를 사용하고 있다. 기존에는 MySQL을 사용했으나, 썬마이크로시스템즈가 오라클에 인수된 이후 혹시 모를 라이선스 정책에 대비하기 위해 마리아DB로 대체한 것이다.

 

빅데이터 인프라 구성

   
 

SK텔레콤의 빅데이터 아키텍처는 일반적인 하둡 에코시스템과 대동소이하다. 먼저 통신기지국으로 예를 들면, 상태와 장애여부, 장애가 있을 경우 그 이유까지 신호를 보내온다. 장애의 이유는 이전까지 활용하지 못했었는데, 이 로그를 활용하면서부터 직접 기지국에 나가서 장애를 알아내기 위해 재연하는 수고를 덜었다.

이러한 로(Raw) 데이터를 플럼으로 수집, 분석을 위해 하둡으로 옮긴다. 주키퍼는 이 과정에서 노드들 간을 조정해주는 역할을 맡는다. 통신량 급증 지역을 파악해 이동기지국 차량을 파견하기 위해서는 실시간 분석이 요구되는데, 이러한 스트리밍 데이터 처리를 위해서는 스톰 또는 스파크로 옮긴다. 이때 스톰의 경우에는 레디스가 중간 매개체 역할을 맡아 데이터를 보다 빠르게 받도록 돕는다. 기존에는 스톰만 쓰다가, 머신 러닝도 지원하는 스파크가 등장하면서 각각 적용해보고 있다.

하둡에 적재된 로그데이터들은 먼저 구성해놓은 하이브를 통해 표준화되며 1차적으로 정제된다. 이후 2차적으로는 각 클러스터에서 하이브, 임팔라, 타조 등을 통해 용도에 맞게 다시 정제된다. 속도보다 다각도의 접근방법이 필요한 경우에는 다양한 기능을 제공하는 하이브를, 작은 데이터에 대해 빠르게 결과를 도출하기 위해서는 임팔라를, 안정적으로 정형화된 리포트를 만들기 위해서는 타조를 활용한다.

이밖에 갱글리아는 이러한 과정들을 전체 클러스터 관점에서 모니터링해주고, 서버 매니지먼트 툴인 패브릭은 프로비져닝을 지원한다. 시스템에서는 하루에 2만 7천여 개의 잡이 처리되고, 가공을 마친 데이터는 별도의 분석 파트로 옮겨져 R 등의 프로그램을 통해 분석에 활용된다.

분석 파트로 데이터를 보내기 전까지 일련의 과정은 관제·프로파일링의 5명과 클러스터별 개발의 10명이 담당해 SK텔레콤 내부에서 직접 관리하고 있다. 여기에 SK C&C, 그루터, 모비젠 등 협력사 인력 15명까지 총 30명이 근무 중이다.

 

빅데이터를 향한 한걸음, 기술 내재화를 통한 경쟁력 확보

SK텔레콤은 이러한 분석결과를 기지국 관리, 유동인구 분석, 통화품질 관리, VoC 분석, 전환이탈(Churn-Out) 예측 등 다양하게 활용중이다. 초기부터 전면적인 공개SW 도입을 구상했기에 이러한 대규모 시스템을 구축할 수 있었고, 이를 상용SW로 구축하려면 수백억 원으로도 부족할 수 있으므로 시작조차 못했을지도 모른다는 게 SK텔레콤의 설명이다.

아울러 SK텔레콤은 “빅데이터는 우리 손으로 직접 한다”는 생각으로 다양한 기술을 접목하면서 역량을 강화, 기술 내재화를 이룰 수 있었다고 밝혔다. 이를 통해 벤더종속을 탈피, 자체적으로 꾸준한 업그레이드가 가능해져 원하는 데이터를 빠르게 얻을 수 있는 저비용·고효율의 기반이 마련됐다는 것이다.

SK텔레콤은 앞으로도 오픈소스 기반 구성을 원칙으로 삼아, 공개SW 도입을 지속해나갈 계획이다.

<인터뷰>

“공개SW 활용이 경쟁력을 높이는 길”

   
▲ 안성화 SKT 성장기술원 데이터테크 랩 부장

공개SW 도입을 통한 빅데이터 인프라 구축 시 어려웠던 점은?

하둡만 도입한다고 해서 대량의 데이터가 잘 처리되는 것은 아니다. 가장 먼저 했었던 일은 리눅스를 튜닝해 페이지 캐시(page cache) 할당을 효율적으로 개선했던 것이다. 이를 통해 속도가 약 100배 정도 빨라졌다. 리눅스를 잘 모르면 하둡을 잘 모를 수밖에 없다.

경영진에서는 처음부터 믿어주고 지원해줬기 때문에 공개 SW 도입 자체에 큰 어려움은 없었다. 이머징 테크놀로지라 가능하면 직접 하는 게 좋기도 하고, 또 그게 가능한 이들이 데이터테크 랩에 모였다고 생각한다. 오히려 이후 추가적인 기능을 구현하는 부분에서 선택이 어려웠지만, 개별 기술에 대한 충분한 분석과 커뮤니케이션을 통해 만족스런 성과를 낼 수 있었다.

 

공개SW를 활용하면 좋은 점은?

벤더에 종속되면 시스템 유지보수에 예산과 시간이 소모되기 마련이다. 공개SW를 도입하면 원하는 때 별도의 비용 없이 즉시 개선 및 보완이 가능하다는 게 가장 큰 장점이다. 또 수많은 사람들의 협력을 통해 발전해나가는 모델이므로 새로운 기능을 보다 빠르게 적용할 수 있는 측면도 있다. 이렇게 기술을 다양하게 접목시켜 풍부한 경험을 얻을 수 있고, 이를 통해 기술 내재화를 이룰 수 있다. 자체적으로 공개SW를 다룰 역량이 부족하다면 전문 업체와의 협력을 통해 기술력을 습득하는 것을 추천한다.

공개SW를 활용하면 개인의 경쟁력도 높아진다. 항상 시스템을 공부하게 되고, 문제에 접근할 때도 세밀하게 접근할 수 있게 된다. 지난 12년 동안 다양한 곳에서 공개SW만을 다뤄왔고, 공개SW는 문제를 찾는데 아주 좋은 도구라고 생각한다. 앞으로 공개SW 생태계에 더 많이 기여하고자 한다.

 

요즘 사회 전반에서 데이터 수집에 대해 민감해진 측면도 있다.

SK텔레콤 빅데이터 시스템에서는 신원을 식별할 수 있는 모든 정보를 로그 수집 단계에서부터 제외시킨다. 가입자관리번호 등 문제가 발생할 수 있는 모든 정보를 기계적으로 누락시킨 채로 수집과 분석을 시작한다.

 

인기기사 순위
여백
여백
(우)08503 서울특별시 금천구 가산디지털1로 181 (가산 W CENTER) 1713~1715호
TEL : 02-2039-6160  FAX : 02-2039-6163  사업자등록번호:106-86-40304
개인정보/청소년보호책임자:김선오  등록번호:서울 아 00418  등록일자:2007.08  발행인:김용석  편집인:김선오