[아이티데일리] 폭발적으로 증가하는 데이터의 홍수 속에서 기업들은 실제 비즈니스에 중요한 인사이트를 주는 데이터를 확보하기 위해 고군분투 중이다. 그러나 광범위하게 분산된 데이터의 효율적인 활용방안 부재와 데이터 관리 부족으로 가치 있는 데이터를 얻는 것은 결코 쉬운 일이 아니다.

이를 해결하기 위해 에지(edge)-클라우드 환경에서 데이터 패브릭(Data Fabric) 관리의 중요성이 높아지고 있다. 데이터 패브릭은 데이터 태그 관리(통합 검색)를 기반으로 데이터 활용성을 제고하고 비즈니스 가치 창출을 강화하기 위한 데이터 플랫폼의 새로운 디자인 콘셉트이자 아키텍처 전략이다.

데이터 패브릭과 데이터 추상화

데이터 패브릭은 직물처럼 교차되어 엮어진 연결망의 특성에서 이름을 따온 것으로, 각기 다른 리소스들을 하나의 플랫폼에 통합시키고 데이터 관리를 단순화한다. 이로써 에지-클라우드 환경 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있는 일관된 데이터 관리 프레임워크를 구축할 수 있도록 돕는다.

컴퓨터 과학은 추상화(abstraction)를 좋아하며 이는 데이터 관리에도 적용되고 있다. 데이터 관리 영역에서 추상화를 늘리는 것은, 더 이상 데이터 저장소와 직접 상호작용하지 않도록 프로그램을 변경하는 것을 의미한다. 데이터 패브릭은 추상화를 활용해 어떠한 저장소라도 동일한 인터페이스 방식을 제공, 사용자가 원하는 데이터에 신속하게 액세스할 수 있게 한다. 복잡하고 다양한 각 시스템 별 애플리케이션에 접근하는 대신 데이터 카탈로그의 태깅 및 검색 기능을 활용하여 원하는 데이터의 위치를 즉시 알아내고 활용할 수 있다.

데이터 추상화의 또 다른 이점은 데이터에 액세스하는 방식의 변경 없이 다양한 방식의 저장소를 생성 또는 변경할 수 있다는 것이다. 애플리케이션을 중단하지 않고 데이터 저장 방식을 변경할 수 있으며, 주요 기능은 다음과 같다.

■ 정책 기반 데이터 관리: 사용자는 데이터 추상화를 통해 데이터 저장소 비용과 성능 간의 적절한 균형에 대해 정책을 수립할 수 있다. 예를 들어 배치(batch) 애플리케이션의 경우 스토리지 비용 절감을 위해 최적화하는 것이 좋으며, 고성능 워크로드는 더욱 빠르고 응답성이 뛰어난 저장소가 합리적일 수 있다. 또는 시스템이 워크로드를 관찰해 상황에 맞는 제안을 할 수도 있다.

■ 자동화된 메타데이터 개선: 데이터는 종종 더욱 완전하고 사용 가능한 메타데이터 집합을 생성할 수 있는 단서를 가진다. 만약 지리적 위치 좌표가 있다면 우편번호, 도시, 국가를 추가할 수 있고, 상품 코드를 이용할 수 있다면 상품 정보를 입력할 수 있다.

■ 데이터 전환 영역: 표준화할 수 있는 많은 데이터 파이프라인을 공통으로 전환할 수 있다. 수십 개의 데이터 파이프라인을 각각 중복 제거와 병합 루틴을 시행하지 않고도 모든 데이터가 중복 제거될 수 있도록 중복 제거 영역에 데이터를 배치하면 된다.

에지-클라우드 데이터 패브릭을 위한 핵심 기술

최근 IT환경에서 에지의 중요성이 더 높아지고 있다. 에지 영역의 데이터를 민첩하게 처리하고 사용하기 위해서는 새로운 애플리케이션을 질서 있게 지원하는 데이터 패브릭이 필수다. 데이터 패브릭은 데이터 관리 및 데이터 품질과 성능을 향상시킬 뿐 아니라, 데이터 관리, 정책 기반 오케스트레이션 및 확장된 자동화를 통해 데이터 레이크를 성공으로 이끈다.

■ 데이터 관리 개선
데이터 패브릭은 기업의 비즈니스에 도움이 되는 검증된 데이터 세트를 생성하는 동시에 민감한 데이터를 보호하며 엔터프라이즈 데이터 관리를 크게 개선해 준다. 이를 위해서는 기업의 모든 데이터, 에지-코어-멀티 클라우드를 프로파일링하고 식별되지 않은 관계 및 계보를 발견할 수 있는 머신러닝 기반의 데이터 카탈로그가 필요하다. 전체 조직에서 일관되고 완전한 데이터를 사용할 수 있도록 데이터를 검증하고 향상시킬 수 있다.

또한, 적절한 거버넌스 및 규정준수를 위해 AI/ML 모델에서 데이터를 사용하는 시스템을 포함, 모든 시스템에서 민감 데이터를 보호, 추적할 수 있어야 한다. 그리고 데이터 포털(portal)은 사용자가 필요할 때마다 데이터에 쉽게 액세스 하고, 빠른 검색을 지원한다.

■ 데이터 민첩성 향상
데이터 패브릭은 데이터 사일로를 해소하고 기업이 클라우드, 데이터센터 또는 엣지에 상관없이 모든 시스템에서 데이터를 통합하고 비용과 프로세스를 최적화할 수 있게 한다. 사일로에서 벗어나 데이터를 더 유용하게 하려면 기업은 모든 데이터 레이크 및 데이터 웨어하우스를 클라우드 앱, IoT 장치를 포함한 모든 소스의 데이터와 통합하여 대규모 데이터 파이프라인을 관리할 수 있어야 한다.

효성인포메이션시스템은 데이터 레이크를 지원하는 루마다(Lumada) 포트폴리오를 통해, 효과적인 데이터 추상화를 위한 기술을 비롯하여 체계적인 데이터 관리를 위한 기술력을 선보이고 있다. 루마다 포트폴리오를 활용하면 멀티 클라우드 패브릭을 관리하고, 데이터 관리 및 보호를 가속하며, 현대적인 분석과 데이터 과학 인프라를 구현할 수 있다.

이 모든 여정은 시작에 불과하다. 우리는 앞으로 발생할 많은 데이터에서 기업의 생존을 책임질 가치 있는 데이터를 더욱 손쉽게 발견하고 관리할 수 있도록 진화하는 데이터 패브릭을 주목해야 할 것이다.