[아이티데일리] 데이터는 기업의 인텔리전스를 가속하는 연료가 된다. 기업들은 ‘데이터 분석 플랫폼’을 기반으로 디지털 미래를 실현시키고 데이터 중심의 비즈니스를 추진하며 생산성 향상, 비즈니스 성공률 확대 그리고 고객 만족도를 높일 수 있다.

다양한 혁신 기술이 통합돼 차세대 데이터 관리 모델의 토대가 형성되는 가운데 자동화와 인공지능(AI)이 데이터 혁신의 견인차로 주목받고 있다. AI 기술과 자동화가 결합해 데이터에 연결된 물리·가상 기기의 구성, 관리, 테스트, 배치, 운영 등 자동화된 프로세스가 각광받고, 지속적인 서비스 향상을 위해 점차 데이터 최적화 자체도 자동화되고 있는 추세다.

AI 시대를 위한 데이터 관리, ‘데이터옵스’

데이터 관리자의 가장 중요한 역할은 원활한 데이터 운영이다. 일관된 경험을 창출하고 적시적소에 데이터를 제공해 비즈니스 역량을 강화하며, 높은 신뢰도의 데이터로 애플리케이션 프로세스 및 사용자 간 연계를 지원해야 한다. 동시에 비용 절감이 가능하도록 데이터를 최적화하고, 민감 데이터에 대한 보호 장치도 마련해야 한다.

데이터옵스(DataOps)는 AI시대에 부응하는 데이터 관리 실행 방안이다. 기능 간 협업, 통합, 거버넌스, 자동화를 높여 데이터의 신속성을 보장하고, 이를 기반으로 적시적소에 가장 적합한 데이터를 제공하며 데이터 잠재력을 최대한 끌어올리는 전략 실행 방안이다. 개발과 운영을 함께 하는 데브옵스와 마찬가지로 분석, 데이터, 비즈니스 팀을 하나로 통합해 비즈니스 의사결정의 품질과 예측 가능성을 높여 가치 창출 시간을 단축한다.

가트너(Gartner)에 따르면 데이터옵스는 데이터 관리자와 데이터 이용자 간 데이터 플로우 커뮤니케이션, 통합, 자동화 향상에 초점을 둔 협업 데이터 관리 실행 방안이다. 효과적인 데이터옵스 구현을 위해서는 데이터 관리 인프라, 메타데이터 기반의 주도적인 데이터 관리 툴, 정책 기반 자동화가 중요하다.

그러나 데이터옵스를 위해 기존 인프라를 변경하거나 교체할 필요는 없다. 기업들은 이미 과할 정도로 기존 인프라에 많은 투자를 했다. 따라서 현재 보유한 데이터와 시스템에서 데이터옵스가 운영될 수 있도록 데이터 관리 솔루션만 추가하면 된다.

데이터옵스 완성을 위한 필수 기술

데이터옵스 전략은 ▲분석 속도 ▲거버넌스 ▲에지 투 클라우드 운영 민첩성 등 3가지 핵심 요소를 만족시켜야 한다. 또한 데이터옵스를 구체화하기 위해서는 탐색, 메타데이터 관리, 정책 기반 거버넌스·유지관리, 자동화된 데이터 통합, 데이터 파이프라인 구축 기술이 필요하다.

많은 기업들은 여전히 복잡하고 비용이 많이 들고, 유지 관리가 어려운 광범위한 데이터 시스템을 보유하고 있으며, 이는 데이터 신뢰도 저하 문제와 연결된다. 데이터옵스를 완성하기 위해서는 고도로 자동화된 데이터 검색, 데이터 거버넌스, 데이터 관리를 통해 민첩하고 비용 효율적인 데이터 기반을 마련하고 데이터 패브릭으로 변환할 수 있어야 한다.

데이터옵스는 데이터 소스 구축과 테스트를 거친 후 이를 데이터 소비자와 연계하는 프로세스로, 끊임없이 증가하는 개별 데이터를 더욱 스마트하고 효과적으로 관리할 수 있도록 지원한다. 데이터옵스 프로세스는 데이터를 지속적으로 모니터링하고 테스트해, 예외 상황이나 에러가 발생하면 자동화 시스템을 통해 경고를 보내준다. 특히 벤더 독점 툴 및 서드파티 툴과 서비스를 분산 환경으로 통합해 엄격한 거버넌스 통제와 표준화를 제공한다. 데이터옵스를 통해 생성된 분석 데이터 모델은 다른 활용 사례에서도 반복적으로 사용할 수 있다.

차세대 데이터 관리에 최적화된 데이터옵스 솔루션

효성인포메이션시스템은 ‘루마다(Lumada)’ 포트폴리오로 운영 민첩성, 거버넌스 및 분석을 위해 데이터옵스를 자동화해준다. AI/ML 및 규칙 기반 시스템의 강점이 데이터 관리에 통합되고, 엔터프라이즈 규모의 지능형 데이터 운영을 위한 메타 데이터 중심 경로를 제공한다. 데이터옵스는 멀티 클라우드 패브릭을 관리하고, 거버넌스 및 데이터 보호를 가속하며, 현대적인 분석과 데이터 과학 인프라를 구현한다. 루마다 포트폴리오는 데이터옵스 관련 최적의 환경을 제공하고, 다음과 같은 혜택을 제공한다.

▶클라우드 통합과 애플리케이션 동기화: 데이터 수집, 정제, 변환 서비스를 제공하며, 클라우드부터 메인프레임까지 모든 시스템을 간단히 연계한다. 옵션으로 제공되는 HCI(Hitachi Content Intelligence) 컴포넌트로 비즈니스 문서 등 비정형 콘텐츠도 프로세싱이 가능하다.

▶실시간 분석으로 IoT 에지 마스터: 사물인터넷(IoT) 센서 시계열 피드, 오디오, 비디오 스트림을 통합하고, 수백 개에 달하는 개별 제어 시스템을 연계한다. 성능 향상과 비용 절감을 위해 사이트 레벨에서 데이터를 필터링하고 사전 프로세싱을 수행한다. 컨테이너형 에지 분석과 머신러닝 솔루션 구현을 통해 실시간 통찰력을 확보할 수 있다.

▶데이터 레이크와 데이터 웨어하우스 관리: 데이터 시스템에 대한 온보딩이 신속히 이뤄지며, 동시에 데이터 품질과 컴플라이언스 유효성도 확보한다. 하둡 클러스터는 스마트한 데이터 티어링으로, SQL 데이터베이스는 No-SQL 마이그레이션으로, 클라우드 데이터 웨어하우스는 적시적소에 적합한 데이터 라우팅으로 처리해 비용을 최적화한다.

▶민감 데이터 보호와 컴플라이언스 준수: 개인식별정보(PII) 등 데이터 인프라 전반에 걸쳐 민감 데이터를 자동으로 검색해 GDPR(개인정보보호규정) 같은 컴플라이언스를 준수한다. 동시에 가시성이 향상될 수 있도록 데이터 필터링과 익명성에 대한 지능형 데이터 플로우도 구축한다.

▶머신러닝 데이터 플로우 관리와 임베디드 분석: 데이터 파이프라인으로 데이터 온보딩과 모델 트레이닝 작업을 자동화해 데이터 사이언티스트의 업무를 간소화한다. 머신러닝 모델을 통해 데이터 플로우를 자동화하며, 준비된 상태의 분석, 보고서, 대시보드를 제공해 언제든 편리하게 사용할 수 있다.

▶고객, 상품, 자산에 대한 360도 관점 확보: 데이터 허브를 구축해 검증된 기록과 문서에 대한 액세스와 공유가 가능하다. 신뢰성 있는 정보를 기반으로 비즈니스 프로세스를 강화하고, 협업적 데이터 셀프서비스로 신속한 데이터 검색과 준비를 할 수 있다.