[아이티데일리] 코로나19 팬데믹이 보다 디지털화된 세상으로의 전환을 가속화하면서 최근 많은 기업에 변화가 있었다. 일부 기업은 워크로드를 클라우드로 옮기고 비즈니스 복원력의 핵심인 기업 데이터 전략을 활용해 긍정적 변화를 만들고 있다.

클라우데라는 이런 변화 속에서 데이터와 분석을 더 잘 이해하기 위해 세계 15개 국가의 3,000명 이상의 IT 및 비즈니스 의사결정권자를 대상으로 설문조사를 실시했다. 그 결과 비즈니스 의사결정권자 중 96%가 기업이 성과를 내는 데에 데이터 전략이 필수적이라고 응답했다. 특히 디지털 리더는 고객 및 잠재 고객 데이터, 제품 관련 데이터, 고객 감정 데이터 소스를 가장 많이 활용하는 것으로 나타났다. 그들은 기업의 데이터 전략으로 비즈니스 통찰력을 이끌어내고자 했다. 그들은 데이터와 분석 기준을 재평가하고 하이브리드 인력으로 조직을 재편하기도 했으며, 대다수는 하이브리드 멀티 클라우드로의 전환에 호의적이었다.

설문에 응한 IT 의사결정권자의 40%는 현재 하이브리드 환경에서 데이터 및 성능 분석을 수용하고 있다고 했고, 36%는 앞으로 18개월 이내에 기업이 데이터 및 성능 분석을 하이브리드 멀티 클라우드 아키텍처로 전환할 것이라고 밝혔다. 지속적인 혁신과 성장을 가속화하기 위해서는 잠재적 위험과 관련 비용을 모두 줄여야 한다. 이런 맥락에서 데이터 및 분석은 매우 중요하다. 클라우데라의 하이브리드 데이터 클라우드로의 여정을 짚어본다.

첫 번째 사례 : 엑슨모빌(ExxonMobil)

엑슨모빌은 세계 최대 에너지 및 화학 제조업체로 명성을 쌓은 기업이다. 엑슨모빌은 지난 100년 동안의 데이터를 축적해왔다. 하지만 이 데이터는 구조화되지 않았고 여러 장소에 다양한 형식으로 분산돼 있었다. 때문에 관련 정보를 찾고 분석하는 작업이 쉽지 않았고 데이터에 접근하는 것도 어려웠다.

이런 과제를 해결하기 위해 엑슨모빌은 클라우드 서비스 외에도 클라우데라의 온프레미스 툴을 활용했다. 그 중 하나는 2,000만 개 이상의 문서에서 구조화되지 않은 텍스트와 이미지에 대한 감성 분석을 수행하기 위한 고급 머신 러닝 기반의 자연어 처리였다. 이 작업을 통해 중요한 데이터 중심 의사결정을 위해 조직 전체에서 문서를 찾는 과정을 상당히 가속화할 수 있었다.

두 번째 사례: UCSD

세계 15대 연구대학 중 하나로 인정받는 캘리포니아대학교 샌디에이고 캠퍼스(UCSD)는 학생들에게 변화를 이끌어 나갈 수 있는 기회를 제공하는 데에 전념하고 있다. 그 중 하나는 학생들에게 세계 주요 문제들에 대한 해답을 찾을 수 있게 돕는 도구를 쥐어 주는 것이다.

이를 위해 UCSD는 기존 IT 시스템과 프로세스를 교체했다. UCSD는 클라우드 기반의 실시간 데이터 물류 플랫폼을 구축했다. 그리고 클라우데라 데이터플로우로 여러 데이터 소스를 연결하고 실시간으로 데이터를 안전하게 이동할 수 있게 했다. 이로써 사용자 작업 환경을 크게 향상시켰을 뿐만 아니라 데이터 분석과 통합 프로젝트 개발 시간도 10주에서 2주 이하로 단축시켰다.

세 번째 사례: 아레스(Ares)

헬스케어, 화장품원료, 생명과학 등 소재 분야의 독일 기업인 머크(Merck)의 자회사 아레스는 중증병에 대한 의료제품과 맞춤형 치료를 제공한다. IoT 전자 약물 자동 주입기는 다발성 경화증 환자에게 약을 투여하고 데이터 허브로 정보를 전송하는 주요 제품 중 하나다.

아레스는 자바 기반 애플리케이션을 허브로 사용했지만 유지보수 비용이 많이 들고 새로운 기능이나 기기 지원을 추가하기가 점점 더 어려워졌다. 특히 작업 부하와 확장성에 미치는 영향을 최소화하면서 새로운 플로우를 추가할 수 있는 기능이 요구됐다.

아레스는 기존 시스템을 퍼블릭 클라우드에 구축된 클라우데라 데이터 플랫폼(CDP)과 아파치 NiFi 백엔드로 교체해 속도를 향상시켰다. 이로써 최대 5만 대의 기기에서 데이터를 수신하고 확인할 수 있게 됐고 이 데이터는 환자 상태를 관리하고 건강 개선을 위해 의료진에게 전송된다. 모든 과정과 정보는 개인건강정보 데이터 규정을 준수한다.

보안과 거버넌스 갖춘 데이터 플랫폼 CDP

모든 행동과 반응, 거래, 심지어 심장 박동에도 지혜가 숨겨져 있다는 생각은 지난 10년 간 디지털 혁신을 주도했다. 이를 기반으로 하는 은행 자산과 정부 기밀 보호, 약물 단속 강화, 마케팅 전략 수립 등 그 이점은 무궁무진하다. 어느 분야든 데이터로부터 의미있는 정보를 얻을 수 있다. 당연히 더 많은 데이터 세트가 모일수록 더 큰 지혜를 얻을 수 있다.

그러나 현재 많은 기업에게 장애물이 되는 문제는 너무 많은 데이터 세트가 물리적으로 또는 가상으로 고립돼 있다는 점이다. 이에 따라 많은 기업은 데이터 수집부터 머신 러닝을 활용한 데이터 이용까지 데이터 라이프사이클의 모든 단계에서 깊은 고민에 빠진다. 주요 원인은 데이터 라이프사이클을 한 단계 혹은 부분적으로 다루기 때문이다. 엄중해야 할 데이터 관리에서 간과되는 요소가 많다는 의미다. 한 가지 예로 머신 러닝을 위해서는 액세스 관리, 데이터 보호, 메타데이터 보존 작업 등 다양한 사항을 고려해야 한다.

종종 모든 데이터를 특정 퍼블릭 클라우드 또는 온프레미스에 백업해야 하는 경우도 있다. 이럴 경우 특정 컴퓨트 리소스에만 묶여 제한되는 현상이 일어나 시간이 지남에 따라 엄청난 추가 비용이 발생하는 불상사를 일으킬 수 있다.

이러한 한계는 디지털 혁신의 새로운 단계를 주도해 온 하이브리드 클라우드와 멀티 클라우드의 발전에 걸림돌이 된다. 하이브리드 클라우드의 가장 큰 장점은 신속함이다. 예를 들어 데이터 과학자가 새로운 알고리즘을 개발하려는 경우 퍼블릭 클라우드에서 신속하게 파일럿을 시험할 수 있다. 그리고 알고리즘이 안정적이고 워크로드가 원활하게 실행될 시 프라이빗 클라우드에 재배치할 수 있다. 이처럼 기업이 하이브리드 클라우드를 적극적으로 활용하기 위해서는 종단간 보안과 거버넌스를 갖춘 완전한 플랫폼이 필요하다.

클라우데라는 호튼웍스와 합병 직후 클라우데라 데이터 플랫폼(CDP, Cloudera Data Platform)을 발표했다. CDP는 원활하고 안전한 작동을 보장하는 SDX(Shared Data Experience)라는 차세대 보안과 거버넌스 기반 위에 구축된 강력하고 유연하며 더 나아가 상호 교환이 가능한 모듈 제품군이다.

CDP는 빠르게 성장하는 엔터프라이즈 데이터 클라우드 분야에서 가장 유연한 선택지다. 데이터 수집, 웨어하우징, 머신 러닝, 그리고 다른 인공지능(AI) 툴에 이르기까지 모든 것을 모듈로 확장한다. CDP는 온프레미스, 프라이빗 클라우드 혹은 퍼블릭 클라우드에서 실시간 데이터 스트리밍과 일괄 처리를 한 번에 진행할 수 있다.

CDP는 다양한 클라우드 서비스 공급업체를 지원한다. CDP 자체가 오픈소스이므로 사용자들은 클라우데라 플랫폼에 제한되지 않는다. CDP는 데이터 라이프스타일 전반에 걸쳐 많이 사용되는 오픈소스 도구에 대한 후크가 있다. 따라서 즐겨쓰는 후크가 있다면 CDP 모듈 중 하나로 교체하면 된다.

간단한 관리와 액세스 덕분에 CDP는 비용과 시간을 아낄 수 있다. 장기적이고 비용이 많이 드는 프로젝트에서도 그 이점이 크다. 더욱이 통일되어 있지 않은 데이터세트에 대한 엔지니어링과 비즈니스 분석이 탁월하다. CDP의 또 다른 큰 장점은 다른 플랫폼에 비해 데이터 과학자의 시간을 절약하고, 클라우드 컴퓨트 복원력이 뛰어나 작업하는 데이터가 유실되지 않는다.

하이브리드 클라우드의 모든 기능을 활용하려면 기업은 전체 데이터 라이프사이클에 대한 넓은 시각의 전체론적 접근 방식이 필요하다. CDP 사용 전에는 흩어진 부분을 직접 연결해야 했으며, 비용과 시간이 많이 소요될 뿐만 아니라 사사건건 문제가 발생할 수 있는 작업이었다. 하지만 CDP를 사용하면 기업은 데이터 활용에 있어서 더 빨라진다. CDP는 하이브리드 클라우드를 작동하도록 만드는 데 필요한 단일 창을 제공한다.

이제 모든 데이터는 데이터의 가치를 가장 잘 드러낼 수 있는 곳에서 가공되고, 전파되고, 활용되어야 한다. CDP 하이브리드 클라우드는 여러 환경에서 최적화된 솔루션을 제공해, 데이터의 가치 증대 및 이를 통한 분석 역량 강화 및 매출 증진에 기여한다.