[아이티데일리] 국내 연구진이 미국 국립연구소 두 곳과 함께 대용량 과학데이터를 신속하고 효율적으로 전송하는 ‘빅데이터 익스프레스(Big Data Express)’ 기술을 개발했다.

15일 한국과학기술정보연구원(원장 직무대행 문영호, 이하 KISTI)은 대용량 과학데이터를 전송하는 미들웨어를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 밝혔다.

과학적인 발견 및 실험에서 생산되는 데이터의 규모가 급속히 증가함에 따라 데이터의 생산, 확보, 저장, 전송 등 데이터 처리 기능이 매우 중요해지고 있다. 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타바이트급으로 증가함에 따라, 단일 기관에서 대용량 데이터 처리가 불가능해 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 필요한 실정이다.

예를 들어, 유럽핵입자물리연구소(CERN)는 대형 강입자 충돌기(LHC) 실험을 통해 연간 50PB의 데이터를, 대형 시놉틱 관측 망원경(LSST)은 연간 10PB, 천문망원경 SKA 프로젝트는 연간 60PB의 데이터를 각각 생산하고 있다.

‘빅데이터 익스프레스’는 대용량 과학데이터 전송의 효율성을 극대화하는 기술로, 기존 데이터 전송방법들이 가진 문제점을 극복하기 위한 목적으로 개발됐다. 기존에는 ▲데이터 전송구간에 존재하는 다양한 장비로 인해 전체적인 데이터 전송의 비효율성 문제기 발생했으며 ▲데이터 전송방법 간 상호 간섭을 최소화하는 효율적인 방안이 필요했고 ▲다양한 데이터 전송 노드 간 효율적인 통신 방안 제공이 불가능하다는 한계가 있었다.

KISTI는 그러나 이번에 개발한 ‘빅데이터 익스프레스’의 경우 자체 테스트 결과 과학데이터 전송에 자주 사용되는 그리드FTP(GridFTP)보다 1/3 정도 높은 성능을 보였으며, 과학데이터 전송 시 가장 문제되는 것 중 하나인 LOSF(Lots Of Small File) 문제 테스트에서 그리드FTP 보다 약 100배 정도 빠른 전송 속도를 보였다고 설명했다.

이번 공동연구를 통해 KISTI는 데이터 전송 SDN(Software Defined Network) 네트워크인 ‘아메바넷(AmoebaNet)’을 개발했으며, 14일(미국 현지시간) 미국 덴버에서 열린 ‘슈퍼컴퓨팅 컨퍼런스 2017’에서 국제공동연구 결과인 ‘빅데이터 익스프레스’ 미들웨어를 이용해 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.

이번 ‘빅데이터 익스프레스’ 기술을 통해 대형 연구 장비를 비롯한 과학기술분야의 대용량데이터 공유가 신속하게 이뤄지고, 국내 연구자들이 원하는 과학데이터를 복잡한 설정 필요 없이 손쉽게 전송하거나 받을 수 있게 될 것으로 전망된다.

KISTI 노서영 대용량데이터허브실장은 “거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다”며 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다”고 밝혔다.