[아이티데일리] 디지털 트랜스포메이션(Digital Transformation) 시대를 맞아 데이터의 중요성은 점점 더 커지고 있다. 빅데이터가 대두된 이후 데이터의 크기(volume)와 다양성(variety), 그리고 속도(velocity) 등 소위 ‘3V’가 강조돼 왔으나, IT부서는 점점 더 폭발적으로 증가하는 데이터를 더욱 더 빠르게 처리해야만 하는 힘겨운 도전에 직면하고 있다. 인메모리(In-Memory) 컴퓨팅과 분산형 데이터 그리드(Data Grid) 등 실시간 빅데이터 처리 관련 기술들이 주목받고 있는 이유다.

11일 미국의 오픈소스 인메모리 데이터 그리드(IMDG) 솔루션 전문기업인 헤이즐캐스트(Hazelcast)가 서울 양재동 엘타워에서 본지 컴퓨터월드/IT DAILY와 공동으로 ‘헤이즐캐스트 서밋 인 코리아 2017(Hazelcast Summit in Korea 2017)’ 컨퍼런스를 개최했다.

‘ICT의 새로운 지평(New Horizons to ICT)’이란 주제 아래 열린 이번 컨퍼런스는 헤이즐캐스트 한국지사가 설립된 이후 처음으로 고객과 직접 만나는 자리라는 의미를 갖는다. 행사는 한국 시장에서의 본격적인 출발에 힘을 싣기 위해 그렉 럭(Greg Luck) 헤이즐캐스트 CEO와 라훌 굽타(Rahul Gupta) 시니어 솔루션 아키텍트가 방한, 새로운 IT트렌드 속에서 IMDG로 열어가는 데이터 분석의 새로운 지평을 소개했다.

먼저 오프닝 세션에서 그렉 럭 헤이즐캐스트 CEO는 ‘IT 및 IMDG 트렌드와 미래 기술(IT/IMDG trending and future plan)’을 주제로 인메모리 컴퓨팅의 과거와 현재, 그리고 전 세계 IT트렌드와 헤이즐캐스트의 IMDG 관련 현황 및 전망을 공유했다.

그렉 럭 CEO는 “오늘날 디지털 트랜스포메이션 시대를 맞아 기업들이 IMDG 솔루션을 활용해 디지털 업무를 자동화하고, 이슈에 실시간으로 빠르게 대응할 수 있는 시스템을 구현할 수 있기를 기대한다”면서, “이를 위해서는 빠르고 확장성 있는 아키텍처가 필수적이며, 이러한 요구를 충족하는 헤이즐캐스트의 비전은 데이터를 처리할 때 인메모리 및 그리드 컴퓨팅을 사용, 이론상 기존의 DB보다 1,000배 이상 속도를 향상시킬 수 있다는 것”이라고 자사 솔루션을 간단히 소개했다.

다음으로 키노트 발표에서는 황상환(샘 황) 헤이즐캐스트 한국지사장이 자사 솔루션을 활용한 중국 위뱅크의 사례 등을 들어 비용 절감과 속도 향상 측면의 장점에 대해 조금 더 상세한 발표를 이어갔다.

황 지사장은 “경주 지진 때 2만 5천 명의 동시접속자가 몰리며 국민안전처 홈페이지가 다운된 후, 여진이 이어짐에 따라 통합전산센터는 서버 용량을 8배로 증설했다. 그러나 수치상으로라면 20만 명이 동시접속 가능했어야 함에도 8만 5천 명이 접속하자 두 번째 시스템 다운사태가 발생했다”면서, “즉, 단순히 투자를 늘린다고 해서 퍼포먼스가 선형적으로 증가하지 않는다는 것이다. 이런 상황에서 현실적인 대안은 인메모리 테크놀로지를 적용하는 것이다. 중국 위뱅크는 IMDG 기술을 통해 구정 하루 13억 5천만 건에 달하는 송금 거래를 추가 시스템 구축 없이 성공적으로 소화해냈다”고 강조했다.

잠깐의 휴식 후 진행된 다음 발표에서는 헤이즐캐스트의 글로벌 파트너인 한국마이크로소프트(MS)의 기술에반젤리스트인 김명신 부장이 자사 클라우드 플랫폼 ‘MS 애저(Azure)’와 양사 간의 파트너십에 대해 이야기하는 자리를 가졌다.

김명신 부장은 “MS는 헤이즐캐스트와 같은 오픈소스 기술을 적극적으로 수용하고 있다. 특히 MS의 환경에 맞춰 오픈소스를 수정하는 게 아니라, 기존에 쓰던 것 그대로 ‘애저’에서 활용할 수 있도록 지원한다”면서, “특히 온프레미스 애플리케이션을 클라우드 환경에서도 그대로 쓸 수 있는 것은 물론, ‘애저 스택(Azure Stack)’을 활용하면 클라우드에서 쓰던 기능도 온프레미스로 가져와서 쓸 수 있어 하이브리드 환경에도 유리하다”고 설명했다.

다음으로는 국립 연구기관인 국립낙동강생물자원관의 오정수 선임연구원이 헤이즐캐스트 솔루션을 과학연구에 활용한 사례를 공개했다. 오정수 선임연구원은 이미 5~6년 전부터 자체적으로 연구를 위해 헤이즐캐스트의 기술을 활용해왔다.

오 선임연구원은 “미생물에 대한 생태 연구를 진행하면서 군집화를 위해 DNA 염기서열을 비교하는 작업에 헤이즐캐스트의 IMDG 기술을 활용했다. 정확도가 높은 클러스터 알고리즘을 사용할 때 속도가 떨어지는 문제를 해결하기 위한 선택이었다”면서, “헤이즐캐스트는 고가용성, 확장성, 성능, OS 및 플랫폼으로부터의 독립성, 다양한 환경 지원, FT(Fault Tolerance) 및 페일오버(Failover) 지원, 예산문제로 인한 오픈소스 환경을 모두 만족했으며 무엇보다 개발하기에 심플하고 사용하기 쉬운 솔루션이라는 점이 선택에 가장 큰 요인으로 작용했다”고 말했다.

헤이즐캐스트 솔루션에 대한 간단한 소개와 활용 사례 발표로 꾸며진 오전 세션이 끝난 후에는 점심시간과 함께 막간을 이용해 부스에서 직접 솔루션에 대한 설명을 들으며 체험해볼 수 있는 기회가 마련돼 세미나 참가자들의 관심을 끌었다. 점심식사 후 이어진 오후 세션에는 스트림(Striim)의 국내 총판을 맡고 있는 데이타벅스의 최상희 상무가 ‘스트리밍 및 인메모리 컴퓨팅 스트림 핫캐시 온 헤이즐캐스트’를 주제로 데이터 관리의 미래에 대해 발표했다.

최상희 상무는 “애플리케이션 성능 향상을 위해 인메모리 캐시를 활용하는 경우에는 DBMS와의 데이터 불일치 문제가 발생할 수 있다”고 짚으면서, “이를 해결하기 위한 가장 좋은 방법은 DBMS 성능에 영향을 주지 않으면서도 실시간으로 데이터 변경을 감지하고 동기화하는 것이다. 스트림은 스트리밍 인티그레이션 및 인텔리전스 솔루션으로, DBMS가 생성하는 트랜잭션 로그파일을 소스로 삼음으로써 DBMS의 성능에 영향을 주지 않으면서 실시간으로 데이터 변경을 감지하고 캐시를 최신화한다”고 설명했다.

행사 마지막 세션에서는 라훌 굽타 헤이즐캐스트 시니어 솔루션 아키텍트가 신제품인 ‘헤이즐캐스트 제트(Hazelcast JET)’에 대해 발표했다. ‘헤이즐캐스트 제트’는 빅데이터 처리를 실시간 영역으로 끌어올 수 있는 제품으로 소개됐다.

라훌 굽타 시니어 솔루션 아키텍트는 “예를 들어 현재 신용카드 결제를 하게 되면 카드사의 서버에 거래에 대한 수백, 수천 개의 비즈니스 룰 검토 요청이 들어가고, 일반적으로 사용자는 이에 대한 결과를 3초 이내에 받게 된다. 그러나 ‘헤이즐캐스트 제트’을 사용하면 이 시간을 밀리세컨드(ms) 단위로 단축시켜준다”고 설명했다.

또 그는 “파일 내 특정 단어의 등장 횟수를 세는 ‘워드카운드(word count)’ 작업의 경우 1GB의 데이터를 기준으로 하면 ‘헤이즐캐스트 제트’는 맵리듀스 방식보다 40배 빠르고, 아파치 스파크보다 2배, 플링크보다 2배 빠르다”고 강조하면서 실제로 간편하게 사용할 수 있는 헤이즐캐스트 솔루션 시연을 선보이며 발표를 마무리했다.