IoT 및 스트리밍 데이터 관리·처리 위한 ‘CEM’·‘CFM’ 공개

[아이티데일리] 클라우데라(한국지사장 강형준)는 에지(Edge) 데이터 기반 분석결과에서 인사이트를 수집·전송·관리할 수 있는 에지 데이터 관리 솔루션 2종을 출시했다고 29일 밝혔다.

에지는 가장 빠르게 성장하고 있는 데이터 소스로 꼽힌다. 기업들은 에지에서 데이터를 수집·분석·실행하기 위해 보다 강력한 도구를 필요로 한다. 클라우데라 측은 새롭게 선보인 자사 솔루션들을 이용해 기업들이 장소에 구애받지 않고 어떤 데이터든지 관리하고 실행 가능한 인사이트를 얻을 수 있다고 설명했다.

이번에 공개된 2종의 솔루션은 ▲IoT와 스트리밍 데이터를 위한 에지 관리 솔루션 ‘클라우데라 에지 매니지먼트(Cloudera Edge Management, CEM)’ ▲추가 개발이 필요없는 대규모 데이터 처리 및 관리 솔루션 ‘클라우데라 플로우 매니지먼트(Cloudera Flow Management, CFM)’ 등이다. ‘CEM’과 ‘CFM’은 스트리밍 분석을 위한 오픈소스 플랫폼 ‘클라우데라 데이터플로우(Cloudera DataFlow, CDF)’에 포함된다.

▲ ‘클라우데라 데이터플로우’에 에지 데이터 활용을 위한 2개 솔루션이 추가됐다.

‘CEM’은 IoT 개발자와 설계자가 IoT 데이터를 처리하는 방법을 개선하는 작업을 돕는다. 에지에서의 데이터 수집 및 처리를 맡은 경량의 ‘에지 에이전트’, 드래그-앤-드롭 개발 환경을 갖춘 에이전트 관리 허브 ‘에지 플로우 매니저(Edge Flow Manager)’로 구성돼 있다. 이들은 에지 디바이스에서 데이터를 수집하는 에이전트를 관리·제어·모니터링하고 인텔리전스를 에지로 보낸다.

‘CEM’의 플로우 배포 기능을 사용하면 수천 개의 에이전트에 데이터 수집 애플리케이션이나 머신러닝 모델을 손쉽게 배포하고 관리할 수 있다. 이를 통해 에지가 스스로 의사 결정을 내릴 수 있을 만큼 역량을 향상시켜, 데이터가 기업과 에지 사이를 반복적으로 전송되는 과정에 소요되는 비용을 줄일 수 있도록 돕는다.

추가 개발이 필요없는 데이터 수집 및 관리 솔루션 ‘CFM’은 기업에게 확장성이 뛰어난 데이터 이동·변환·관리 기능을 제공한다. 직관적인 사용자 인터페이스, 300개 이상의 프로세서 및 ‘아파치 나이파이(Apache NiFi)’ 레지스트리를 갖추고 있으며, 페타바이트 단위의 데이터를 온프레미스에서 클라우드로, 혹은 데이터 센터 사이에서 신속하게 이동시켜 데이터 통합 시간을 단축한다. ‘CFM’을 활용하면 민감한 데이터는 데이터 정책에 준수해 에지에서 엔터프라이즈로 안전하게 옮겨질 수 있다.

클라우데라 측은 이번 ‘CFM’ 출시를 통해 ‘클라우데라 매니저(Cloudera Manager)’, ‘아파치 임팔라(Apache Impala)’, ‘아파치 쿠두(Apache Kudu)’에 ‘아파치 나이파이’가 통합됐다고 설명했다.

톰 라일리(Tom Reilly) 클라우데라 CEO는 “클라우데라는 복잡한 데이터 관리를 해결해야 하는 고객을 위해 엔터프라이즈 데이터 클라우드와 에지부터 AI까지에 이르는 분석 활용 사례를 제공하는데 주력하고 있다”며, “새롭게 개발된 솔루션들은 기업들이 에지 컴퓨팅의 장점을 최대한 활용해 수천 개의 소스에서 발생한 어마어마한 양의 복잡한 IoT 데이터를 통합해, 명확하고 실행 가능한 인사이트를 구축하고 혁신을 가져올 수 있도록 지원한다”고 말했다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지