11.20
주요뉴스
뉴스홈 > 비즈니스IT
[공개SW 활용사례] 멜론 ‘10년 축적 데이터’, 공개SW 만나 ‘빅데이터’ 되다수천만 건의 스트리밍 건수와 1TB 데이터 처리 위해 하둡 에코 시스템 구축

 본 공개소프트웨어 활용 성공사례는 본지와 정보통신산업진흥원 공개SW역량프라자가 공동으로 발굴한 기사입니다.

 
[컴퓨터월드] 국내 음원서비스 ‘멜론’을 운영하고 있는 로엔엔터테인먼트는 음악서비스 플랫폼을 비롯해 음악 콘텐츠 유통 및 제작, 아티스트 매니지먼트 등 음악 산업의 전 분야를 포괄하는 종합 엔터테인먼트 기업이다.

로엔엔터테인먼트 산하 레이블로는 아이유, 써니힐, 히스토리, 김석훈, 조한선 등이 소속된 로엔트리와 지아, 피에스타가 소속된 콜라보따리가 있으며, 독립레이블 스타쉽엔터테인먼트가 있다.

   
 
최근 로엔엔터테인먼트는 멜론 서비스 10주년을 맞아 소비이력 데이터를 포함한 핵심 자산을 외부에 개방, 공유하는 플랫폼을 공개했다.

멜론 2,400만 명의 고객이 10년 간 음원을 소비한 이력과 이용행태 등의 빅데이터 분석을 통해 유의미한 정보로 변환하고, 이를 기획사 및 아티스트에 공개하여 활용하도록 한 것이다.

멜론은 기획사 및 아티스트의 인지도 제고 및 팬 확대 활동을 효과적으로 지원하기 위해 빅데이터를 기반으로 ‘팬 소비지수’를 개발했고, 이를 통해 고객 개개인의 아티스트 및 음악 장르 선호도를 분석한 후 유망한 잠재고객을 추출하여 기획사 및 아티스트에게 제공하게 된다. 이러한 데이터에 근거한 다양한 마케팅 활동이 가능하도록 기획사 및 아티스트가 콘텐츠를 직접 비용효율적으로 생산해 팬에게 전달하는 시스템인 파트너 센터를 지난 5월 16일 설립했다.

또한 생성된 콘텐츠들이 멜론의 주요 영역에서 이용자에게 효과적으로 전달될 수 있도록 멜론 PC웹 UI(User interface) 및 PC플레이어 사용자영역(UA: User area)을 고도화했다. 향후에는 기획사 및 아티스트의 신규 비즈니스 모델 확대를 위한 커머스 등의 기능도 제공될 예정이다.

이용자들은 ‘소식함’, ‘팬맺기’ ‘아지톡(AZTalk)’ 등 다양한 신규 기능을 통하여 본인의 잠재된 아티스트 선호도가 반영된 한층 진화된 큐레이션 서비스로 차별화된 콘텐츠를 제공 받게 되며, 아티스트와의 활발한 교류가 가능해져 음악을 단순 감상하던 이전까지보다 보다 풍부하고 심도 있게 음악을 향유할 수 있게 된다.

쌓아두기만 했던 데이터, 활용법은 ‘빅데이터’
이처럼 멜론이 지난 10년간 2,400만명의 고객이 생성한 데이터를 가치 있게 활용하기 시작한 시점은 2012년부터로, 2년이란 시간에 불과하다. 그동안 멜론은 이용자들의 활동 로그, 회원 데이터, 서비스를 위한 메타 데이터와 같은 데이터를 파일이든 데이터베이스 형태로든 쌓아두고 있었다.

2012년부터 멜론은 단순히 음원 서비스를 공급하는 역할을 넘어서 플랫폼 차원의 생태계를 구축하기 위해 핵심 자산인 이들 데이터를 적극 활용하고자 했다. 프로젝트 개발검토 당시 시작점은 아티스트와 사용자간 친밀도 점수를 구하기였다. 이 같은 로직을 구현하기 위해 멜론 사용자의 전체 스트리밍, 다운로드 이력이 필요했다.

그 당시 멜론에는 사용자의 전체 스트리밍 이력을 담을만한 데이터베이스가 없었다. 이에 2012년 초 IBM 네티자 데이터웨어하우스를 도입해 구매이력 등에 대한 통계치를 고도화하는 수단으로 사용하는 등 빅데이터 처리에 나섰다. 그러나 오토스케일 아웃과 비용 측면에서 이를 확장해 적용하기에는 부담이 컸다.

또한 SK플래닛(SKP)의 빅데이터 솔루션인 SPADE도 하둡 어플라이언스로 검토 대상이었으나, 그 당시 SPADE을 내부 시스템에 둘 수 없었고, 둔다 하더라도 SK플래닛의 데이터플랫폼팀의 일정상 깔끔한 기술지원은 어려울 것이라는 판단에 검토 대상에서 제외됐다.

이에 외부 솔루션을 도입해 운영하는 모델이 아닌 믿을 만한 파트너와 함께 빅데이터를 내재화하여 자체 진행하는 방향으로 빅데이터 모델을 진행했다. 그 대안이 바로 하둡이다.

멜론 측은 빅데이터를 한번 도입하는 것으로 끝내는 것이 아니라 지속적으로 새로운 서비스를 발굴해나가는 모델을 그렸으며, 하둡과 같은 공개SW 빅데이터 기술 역시 어느 정도 안정성은 검증됐다고 판단했기에 선택에 무리는 없었다.

공개SW 기반 빅데이터 분석 시스템 구축
멜론은 접속한 이용자들의 행동을 종합적으로 관찰한다. 스트리밍, 다운로드 횟수 외에도 팬 소비지수도 따로 측정한다. 웹사이트 내 마우스의 움직임, 검색에서 음악 선택까지 클릭 패턴도 관찰한다. 멜론은 팬 신청, 포토 조회, 영상 시청, 댓글 등 32가지에 달하는 지수를 모두 다루는 것이 목표다.

실제 하루에도 수천만 건의 스트리밍 건수가 발생하면 1테라바이트의 데이터가 발생하고 있지만 이 모든 데이터는 하둡 에코 시스템을 통해서 처리할 수 있다. 기존 데이터웨어하우스였다면 기술적, 비용적인 측면에서 처리할 수 없었던 상황이다.

   
▲ 멜론 빅데이터 분석 시스템 개념도

멜론의 빅데이터 분석 시스템은 △실시간 △시간 △일 단위로 데이터를 수집하며 데이터 적재는 분석 클러스터에 저장된다.

멜론은 빅데이터를 처리하기 위해 분석계와 서비스계로 나눠져 있는 시스템 상에서 서비스에 남는 로그 일부는 플럼(Flume)을 통해 실시간으로 수집하고, 이중 일부는 아파치 스쿱(Sqoop)을 통해 DB로 적재된다. DB 역시 공개SW 마리아(Maria) DB를 사용한다. 여기에서 적재된 데이터는 맵리듀스(MapReduce), 하이브(Hive), 그리고 자체 개발한 실시간 처리 ‘데몬’을 이용해 분석/서비스 클러스터의 H베이스(HBase)로 저장이 된다.

실제 서비스에서 사용하는 H베이스는 서비스 클러스터이며, 유사시 장애를 대비하여 분석 클러스터에 H베이스 클러스터 이중화가 되어 있다. 서비스 클러스터 H베이스에 저장된 분석된 결과는 API 서버를 통해 멜론에 서비스되며, 1천만 건 이하의 데이터는 MySQL로 적재해 서비스하고 있다.

이처럼 빅데이터 분석 시스템을 갖춘 멜론은 △아티스트가 신규 앨범이나 영상, 공연 등의 새로운 콘텐츠fmf 등록할 경우 수십만 명의 관심 사용자에게 소식을 전할 수 있게 됐으며 △기획사 등 파트너를 위한 각종 통계 지표를 제공하며 △나와 유사한 이용자를 친구로 추천 △실시간 데이터 수집을 통한 차트를 예측할 수 있게 됐다. 현재 이는 이용자들에게는 ‘소식함’, ‘팬맺기’ ‘아지톡’ 등의 이름으로 제공된다.

오픈소스 운영·관리 위해 자체 인력 배정
멜론은 지속가능한 플랫폼을 유지하기 위해 운영·관리도 자체 인력으로 해결하고 있다.

현재 하둡 클러스터 관리는 시스템 엔지니어와 하둡 클러스터 엔지니어 등 2명으로 구성되어 있다. 개발 인력은 데이터 분석가 2명과 맵리듀스 등 개발요소를 담당하는 1명으로 구성되어 있으며, 멜론 빅데이터 프레임워크를 통해 기초 교육만으로 빅데이터를 모르는 기존 운영인력도 개발에 참여할 수 있게 할 예정이다.

멜론은 중대한 장애 상황을 제외하고 1차적으로 내부 인력이 검토하고 2차적으로 외부 전문 회사에 지원 요청하는 방향으로 운영 방향을 잡았으며, 아직까지 중대한 장애 상황에 봉착한 경우가 없어 외부 전문 회사의 손을 빌린 경우는 없었다.
   
 

빅데이터 통해 개인화된 서비스 강화
멜론에서 생성된 사용자 이력 데이터들은 가공되어 콘텐츠 생산자인 파트너(기획사, 유통사)와 멜론의 이용자에게 제공 될 수 있는 선순환 생태계 플랫폼이 구축됐다.

멜론은 이제부터 개인화된 서비스 영역을 더욱더 강화할 예정이며, 이는 단순 추천만이 아닌 개인 중심의 서비스를 뜻하는 것으로 이미 많은 부분에 개인화된 서비스가 제공되고 있지만 이제 시작에 불과하다는 게 멜론 측 입장이다.

이후에도 멜론은 음악을 소비하는 사용자 행태를 다각도로 분석하여, 다양한 데이터를 파트너 및 사용자에게 제공해 이점을 제공할 계획이다.

 

[인터뷰] - 오픈소스 발전과 함께 멜론 시스템 발전이 큰 장점

   
▲ 윤병화 로엔 멜론사업본부 개발기획팀 PL

상용SW 대신 공개SW 도입 시 장점은?
무엇보다도 비용 절감 효과가 가장 컸으며, 상용 솔루션이 제공하는 풍부한 기능과 UI, 기술지원은 없지만 공개SW의 지속적인 발전에 따라 멜론 시스템이 발전하는 것은 큰 이점이다. 다만 기술지원의 측면에서 불안한 감은 초기에 있었으나 현재 운영하는 시점에는 상당히 안정적인 시스템 모습으로 구동 중에 있다.
2년 넘게 하둡 에코시스템들을 다루면서 많은 경험이 내부에 축적됐다. 하지만 사용자에게 서비스를 제공하기 전까지는 안정적인 시스템을 구축하기 위해서 개발단계에서부터 지속적인 튜닝을 실시해 일부 서비스의 기능을 포기한 적도 있었다.
하지만 운영 후에는 시스템의 대략적인 처리 용량에 대해 감이라는 것이 생겨 어떤 서비스를 어떤 규모로 제공할지 자신감이 생겼다. 이 자신감은 향후 멜론 서비스 개선에 가장 큰 무기가 될 것이라 예상된다.

공개SW 도입 시 어려운 점은?
인력이 문제다. 클러스트 관리, 하둡 플랫폼을 위해서 개발해야 하는 인력이 필요한데 현재 하둡 엔지니어가 부족한 상태라서 인력 수급에 어려움이 있다. 자체적으로 내부 교육과 외부 리크루팅을 통해서 해소 하고 있다.

앞으로 운영 계획은?
멜론의 모든 서비스에서 빅데이터가 적용될 때는 철저한 ROI 검증을 통해, 무분별한 빅데이터 리소스 사용을 막고, 최적화된 서비스를 구축할 예정이다.

 

인기기사 순위
여백
여백
(우)08503 서울특별시 금천구 가산디지털1로 181 (가산 W CENTER) 1713~1715호
TEL : 02-2039-6160  FAX : 02-2039-6163  사업자등록번호:106-86-40304
개인정보/청소년보호책임자:김선오  등록번호:서울 아 00418  등록일자:2007.08  발행인:김용석  편집인:김선오