루카 칸델라 트레저데이터 프로덕트 매니지먼트 및 디자인 담당 이사

[컴퓨터월드] ‘빅데이터’라는 용어가 대중화되면서 많은 기업들이 이를 비즈니스에 접목하려 시도하고 있으나, 안정적인 빅데이터 시스템을 자체적으로 구축하기 위해서는 여전히 적잖은 비용과 노력이 요구되는 것도 사실이다. 특히 하둡(Hadoop)을 비롯한 오픈소스 생태계의 주도로 빠르고 다양하게 발전되고 있는 점은 역설적으로 이를 관리하기 위한 전문적인 역량을 필요로 하게 되고, 이러한 기술과 전문인력이 부족한 중소중견기업에게는 진입장벽으로 작용하게 된다.

트레저데이터(Treasure Data)는 이러한 부분에 착안해 ‘빅데이터 매니지드 서비스’를 개시한 글로벌 소프트웨어(SW) 기업이다. 기업고객이 손쉽게 데이터를 분석하고 이를 통해 인사이트를 얻을 수 있도록 돕기 위해 클라우드 기반으로 실시간 데이터 수집, 저장, 분석이 가능한 올인원 서비스를 제공하고 있다. 트레저데이터에서 프로덕트 매니지먼트 및 디자인을 맡고 있는 루카 칸델라(Luca Candela) 이사를 만나 ‘빅데이터 분석의 대중화’라는 목표에 대해 들어봤다.

▲ 루카 칸델라 트레저데이터 이사

트레저데이터에 대해 소개해 달라.

트레저데이터라는 사명은 수많은 데이터 속에서 보물(treasure)과 같은 인사이트를 발굴한다는 뜻을 담고 있다. 2011년 미국에서 설립, 2012년부터 서비스를 개시했다. 그동안 구글이나 페이스북과 같은 곳에서 할 수 있었던 빅데이터 분석을 일반적인 기업에서도 구현할 수 있도록 지원, 데이터 엔지니어 한 명만 있어도 비즈니스에 데이터 사이언스를 접목해 활용 가능하도록 만드는 것을 목표로 한다.

CEO 요시카와 히로(Hiro Yoshikawa)는 투자회사 출신으로 빅데이터의 가능성을 알아보고 이 분야에 뛰어들었고, CTO 오타 카즈키(Kazuki Ota)는 전 세계 하둡 사용자 그룹 중 가장 큰 규모를 지닌 일본 사용자 그룹의 운영자이며, SW아키텍트 후루하시 사다(Sada Furuhashi)는 널리 쓰이고 있는 오픈소스 로그데이터 수집기 플루언티드(Fluentd)와 데이터 바이너리 직렬화 포맷 메시지팩(MessagePack)의 제작자다. 이 3명의 공동설립자가 실리콘밸리에서 의기투합해 시작했으며, 이들을 중심으로 업계 최고의 전문가들이 모여 있다.

현재까지 총 330억 원에 이르는 투자를 받았으며, 대표적인 투자자로는 야후의 전 CEO이자 공동설립자 제리 양(Jerry Yang), 프로그래밍 언어 루비(Ruby)의 개발자 마츠모토 유키히로(Yukihiro Matsumoto) 등을 들 수 있다. 지난 2014년에는 가트너로부터 빅데이터 부문 쿨 벤더로 선정된 바 있다.


트레저데이터의 특장점과 그간 거둔 성과는.

트레저데이터는 전체 빅데이터 파이프라인을 위한 클라우드 기반 시스템을 보유하고 있으며, 클라우드는 아마존웹서비스(AWS)를 기반으로 하고 있다. 빅데이터 수집(ingestion)에 뛰어난 경쟁력을 지녔는데, 플루언티드뿐 아니라 자체 개발한 분석용 분산DB 플라즈마(Plazma)가 스토리지 레이어에서 발휘하는 탁월한 성능에서 비롯된다. 이를 포함해 전체적인 데이터 흐름을 파악하기 용이한 것이 특징이다. 서비스 출시 이후 현재까지 25조개 이상의 레코드가 저장되고 있으며, 매 초당 60만개, 매달 1.5조개 이상의 레코드가 더해지고 있다.

특히 SQL만 다룰 줄 알면 전체 서비스 중 99%를 활용할 수 있는 사용성이 특장점이라 할 수 있으며, 기존에 분산돼있던 데이터 사일로를 한곳에 모아 다양한 대규모 데이터들을 처리할 수 있다. 설치에 수개월이 걸리는 기존 빅데이터 서비스와는 달리 평균 2~3주면 준비되고, 월 정액제를 통한 효율적인 사용으로 기존 대비 80%의 비용절감 효과를 볼 수 있다. 24시간 연중무휴 모니터링 및 유지보수가 지원되는 것도 강점이다.

현재 글로벌 시장에서 총 130여개 고객사를 보유하고 있으며, 이 가운데 설립 초기부터 진출했던 일본시장의 비중이 70%로 가장 높다. 자체 조사결과 42%의 고객으로부터 다른 곳에 추천할 만한 빅데이터 서비스라고 평가받았으며, 지속적으로 사용자가 급증하는 추세다. 일본에 이어 올해 한국에도 지사를 설립하고 본격적으로 공략에 나서고 있다.

▲ 트레저데이터 아키텍처

트레저데이터에서 어떤 역할을 맡고 있나.

프로덕트 매니지먼트 및 디자인을 담당하고 있다. 쉽게 말해 PM(Product Manager)의 역할이다. 제품이 어떻게 구성돼야 하는지, 어떠한 방향으로 나아가야 할지를 주로 고민한다. 특정 기능을 넣고 빼는 일도 엔지니어들과 협의를 통해 진행하고 있다.

데이터 처리를 위한 프로세스에서는 반복성(repeatability), 신뢰성(reliability), 추적가능성(traceability) 등 세 가지를 핵심적인 요소로 꼽을 수 있다. ‘이 데이터를 신뢰할 수 있나’, ‘오늘처럼 내일도 시스템이 제대로 운영될까’, ‘문제는 어디서 어떻게 발생한 것인가’ 등은 경영진에서도 자주 던지는 질문일 것이다. 구체적으로 밝힐 수는 없지만 트레저데이터는 이 세 가지 요소에 초점을 맞춰 새로운 기능들을 준비하고 있다.

빅데이터 산업은 아직 초기로, 영화에 비유하자면 시작 후 2분밖에 지나지 않은 상황이다. 클라우데라나 호튼웍스의 하둡 배포판과 같은 시스템을 도입해 구축하는 모델과, 트레저데이터와 같은 서비스를 활용하는 모델 중에 어느 쪽이 승자가 될지 아직 모른다. 개인적으로는 접근성과 효율성으로 인해 결국 후자가 이길 것이라고 믿는다.


트레저데이터가 추구하는 바는 무엇인가.

빅데이터가 부상한 이후로 데이터 분석을 통해 얻은 인사이트를 비즈니스에 접목하려는 시도가 늘어나고 있다. 데이터 사이언스를 위해서는 데이터를 수집하고 정제하는 데이터 엔지니어링이 선행돼야 하는데, 이러한 준비과정은 기술, 인프라, 인력 등을 적잖이 필요로 하는 작업이다. 이 때문에 기업에 데이터 엔지니어는 10명인데 정작 데이터 사이언티스트는 1명인 경우도 종종 보이는데, 기업이 궁극적으로 원하는 것은 인사이트이니 그 반대여야 맞지 않을까.

이에 트레저데이터는 고객들이 데이터 분석을 통해 인사이트를 얻는데 집중할 수 있는 환경을 제공하고 있다. 이미 기능적으로는 충분히 쉽게 사용할 수 있도록 지원하고 있으며, 앞으로도 쿼리를 짜는 것부터 도와주는 모니터링과 기계학습(머신러닝)을 활용한 자동화된 기능들의 추가 및 보다 사용자 친화적인 UX 등을 통해 더욱 편하게 활용할 수 있도록 발전시켜나갈 계획이다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지