[아이티데일리] 데이터 비즈니스 전문기업 엔코아(대표 명재호)가 24일 서울 콘래드 호텔에서 ‘2024 엔코아 데이(2024 En-core DAY)’를 개최했다. 이번 엔코아의 ‘2024 엔코아 데이’는 ‘AI를 위한 데이터 오케스트레이션 전략(Data Orchestration Strategy for AI)’을 주제로 AI 시대 기업과 조직이 보유한 데이터를 자산화하는 방안과 전략, 우수사례가 공유됐다. 2024 엔코아 데이 행사 현장으로 들어가 본다. 

데이터 전문기업에서 ‘AI 위한 데이터 전문기업’으로 진화

엔코아 명재호 대표의 인사말로 2024 엔코아 데이의 포문이 열렸다. 엔코아 명재호 대표는 “올해 엔코아에는 많은 변화가 있었다. 약 28년간 데이터를 중심으로 비즈니스를 추진해온 엔코아는 AI 비즈니스로 본격 확대하고자 한다. 최근 글로벌 빅테크들이 거대언어모델(LLM), 벡터DB(VectorDB) 등 AI 서비스를 쏟아내고 있다. 또 AI를 도입하지 않으면 경쟁에서 도태된다는 말이 있을 정도다. 정도의 차이는 있지만 사실이다. 여러 고객을 만나보면, 많은 기업이 AI를 도입해 비즈니스를 추진하는 시대가 왔고, 더욱 발전할 것으로 입을 모은다”고 말했다.

이어 명 대표는 “학습 데이터만으로 학습된 기업의 AI는 한계가 있다. 내부 데이터와 결합해야 한다. 데이터 전문 역량을 보유한 엔코아는 내부 데이터와 학습데이터 등 기업이 보유한 데이터를 AI에 접목할 수 있는 전략과 구조, 체계를 갖출 수 있도록 지원하고 있다. 엔코아는 AI 기술력을 보유하고 있으며, 다수의 전문가들을 보유하고 있다. AI와 데이터가 만나 만들어지는 새로운 방법론을 정립하고 솔루션을 개발하고 있다”고 강조했다.

엔터프라이즈 AI를 위한 데이터 오케스트레이션 전략

첫 번째 발표는 엔코아에서 최고기술책임자(CTO)를 맡고 있는 김범 부문장이 ‘엔터프라이즈 AI를 위한 데이터 오케스트레이션 전략’을 주제로 진행했다. 김범 부문장은 데이터 공급과 소비 체계에서 발생하는 데이터 거버넌스 갭(Data Gorvernance GAP)과 이를 해결할 수 있는 AI 시대에 적합한 효과적인 데이터 거버넌스 구축방안을 소개했다.

먼저 김범 부문장은 데이터 공급과 소비 체계에서 발생하는 데이터 거버넌스 갭을 소개했다. 엔코아 김범 부문장은 “데이터 거버넌스 갭은 데이터의 주체는 누구인지, 또 데이터의 타입이 무엇인지 등 데이터에 대한 상세한 정보를 식별하고 이해하지 못하며 품질이 보장되지 않는 데이터 거버넌스 체계를 의미한다”면서 “보유 중인 전체 데이터의 비중에서 데이터 거버넌스 갭이 존재한다면 데이터 소비 관점에서 의사결정 과정에 명확한 기반이 되지 못 한다”고 설명했다.

김범 부문장은 이를 해결하기 위해 AI를 기반으로 한 데이터 거버넌스 구축 전략과 이를 지원하는 엔코아의 엔터프라이즈 AI 서비스 솔루션인 ‘데이터웨어 AI 허브(DataWare Data AI HUB)’를 소개했다. 최근 기업들은 준수해야 하는 보안으로 인해 내부 서비스보다는 대외에서 주로 사용한다. 또 고객이 AI 서비스를 받기 위해서는 변화하고 있는 정형, 비정형 데이터들을 현행화할 수 있어야 한다. 흔히는 검색증강생성(RAG), 애플리케이션 프로그래밍 인터페이스(API), 에이전트(Agent)를 통해 AI 파이프라인 워크플로우를 만든다. 하지만 수준급 엔지니어들을 투입해야 하며 작업의 난이도가 높아 어려움이 따른다.

이를 해결하고자 엔코아는 데이터웨어 AI 허브 서비스를 개발했다. 데이터웨어 AI 허브는 기업이 자체적으로 보유한 데이터 자산을 효과적으로 활용할 수 있도록 LLM 기반 AI 서비스를 구성할 수 있는 서비스다. 복잡한 LLM 파이프라인을 손쉽게 구축·배포·관리할 수 있다. 최신 데이터와 다양한 LLM을 활용해 AI 개발 파이프라인을 자동화하고 개선할 수 있다.

데이터웨어 AI 허브는 여러 시스템이나 파이프라인에 AI 개발 파이프라인을 연결해 사용하기만 하면 된다. 특히 사전 설정한 LLM, 데이터셋 등을 활용해 워크플로우(Workflow)를 구현할 수 있고, 세분화된 편집 프로세스와 가이드라인을 통해 손쉽게 자동화할 수 있다. 또 구현된 워크플로우들의 구성 정보를 확인하거나 배포할 수도 있다.

일례로 고객이 내부 DB 내 데이터를 외부로 보내지 않고 다른 업무에서 API로 파이프라인을 불러와 서비스를 만들고 싶을 경우, AI 파이프라인를 소방호스처럼 연결하기만 서비스를 받을 수 있다. 이를 통해 워크플로우 간의 연계가 가능하며, 효율적으로 업무를 자동화할 수 있다.

마지막으로 엔코아 김범 부문장은 “AI 허브의 API를 활용하면 카카오톡이나 슬랙과 같은 메신저와 AI 허브를 연결할 수 있다. 이를 통해 사용자는 평소에 사용하는 메신저를 통해 AI 허브에 구현된 다양한 워크플로우를 편리하게 이용할 수 있다”면서 “현재 LLM 기반 AI 서비스 중 코드생성 쪽이 많이 나오고 있다. 대부분이 코드 생성·변환이다. 엔코아 역시 필요한 코드를 변환하거나 생성하는 등 생성형 AI를 연동해 데이터웨어 AI 허브 내 AI 워크플로우와 연동하면 생산성이 더욱 높아질 것”이라면서 “향후 엔코아는 단순 코드생성이 아닌 고객이 원할 때 신뢰성과 안정성을 갖춘 AI를 구동할 수 있도록 그 기반인 AI 데이터 관리 서비스를 제공하도록 지원하겠다”고 강조했다.

생성형 AI를 위한 데이터 연결, 업무 생산성 향상을 위한 데이터 자산화와 AI 활용 전략

다음으로 엔코아 김기동 팀장은 ‘생성형 AI를 위한 데이터 연결, 업무 생산성 향상을 위한 데이터 자산화와 AI 활용 전략’을 주제로 발표를 이어갔다.

엔코아 김기동 팀장은 김범 부문장에 이어 AI 허브의 주요 기능을 상세히 소개했다. 김기동 팀장에 따르면, AI 허브는 전체 LLM 파이프라인을 통합·관리할 수 있는 기능을 제공하는 AI 서비스다. 구체적으로 다양한 LLM, 벡터 DB를 기반으로 파이프라인을 구성할 수 있을 뿐 아니라 사용하고자 하는 문서나 DB와 같은 데이터 소스들을 파이프라인에 적용할 수 있는 기능이 있다. 이러한 LLM AI 모델을 이용하기 위해 특수한 기술이나 언어를 배워야 하는 것이 아니라 자연어를 통해 필요한 정보들을 AI 모델에게 질의하고 생성되는 콘텐츠를 업무에 활용하실 수 있다.

또한 이렇게 사용되는 데이터 소스 파이프라인들은 사용자마다 권한과 역할을 지정해서 서로 제한된 데이터 소스, 파이프라인에 접근해서 활용할 수 있도록 통제할 수 있는 기능들도 함께 제공되고 있다.

김기동 팀장은 AI 허브를 활용해 워크플로우 파이프라인의 활용 사례도 소개했다. 김 팀장은 “개발 생산성 향상 관점에서 소스코드를 질문으로 입력하게 되면 해당 소스코드를 분석하고, 어떤 구성으로 이뤄졌는지 도식화된 정보를 제공할 수 있도록 익스트럭션 프롬프트를 지정해 가이드라인을 만들 수 있다. 만든 가이드라인을 따라, 용도에 맞는 채팅 서비스를 선택하고 소스코드를 지휘하게 되면 AI 모델이 프롬프트 지시에 따라 해당 내용들을 클래스 정보, 함수 정보, 변수 정보들을 분석해서 사용자들에게 문서 관점의 정보들을 함께 제공한다. 제시된 코드가 어떤 구조로 구성돼 있는지 도식화된 정보도 함께 제공한다. AI 모델 분석을 요청하고 내용들을 식별한 후 업무에 활용할 수 있는 사례”라고 소개했다.

마지막으로 김기동 팀장은 “데이터 자산화 관점에서 AI 모델이나 AI 서비스와 데이터를 연계해 활용하는 방법과 AI 기능을 활용해 현행화된 데이터 모델을 구축하는 것은 기업이 보유한 데이터를 잘 활용할 수 있는 AI 전략의 핵심일 것이다. AI 허브 외에도 엔코아의 데이터웨어 제품군들을 이용해서 효율적인 데이터 자산화와 관리 전략을 수립하고 이행하길 바란다”고 말했다.

글로벌 최고 수준 데이터 댐 구축을 위한 K-워터의 데이터 관리와 활용의 여정

세 번째 발표는 한국수자원공사 정보관리처 김선주 차장이 ‘글로벌 최고 수준 데이터 댐 구축을 위한 K-워터의 데이터 관리와 활용의 여정’을 주제로 발표를 진행했다. 김선주 차장은 한국수자원공사의 데이터 댐 구축 여정을 공유했다.

먼저 김선주 차장에 따르면, 한국수자원공사는 다목적 댐, 용수댐, 정수장, 가압장 등 수도 시설에서 올라오는 데이터부터 발전 데이터, 지하수 데이터, 일반 인사, 재무 경영 데이터에 이르기까지 총 152테라바이트(152TB)의 데이터를 보유하고 있다.

한국수자원공사는 152TB에 해당하는 데이터를 어떻게 관리하고 활용해야 할지 오래전부터 고민했고, 2016년부터 데이터로 일하는 업무 체계를 구축하기 시작했다. 이 과정에서 데이터 거버넌스 구축 로드맵을 수립해 추진하고 있다.

한국수자원공사 김선주 차장은 “2016년 당시 CEO가 차세대 ERP 시스템 구축을 지시했다. 이를 토대로 데이터를 물리적으로 통합할 수 있었다. 그리고 이듬해 타 기관들보다 서둘러 데이터 표준 사전을 정의했다. 이렇게 표준 전략을 수립하고 데이터 표준 활동, 품질 관리 활동 그리고 이에 필요한 제도 등을 개선했고, 데이터 거버넌스 체계를 마련했다. 데이터 관리 포털 그다음에 현재 ML옵스에 이르기까지 진행하고 있다”고 설명했다.

한국수자원공사 김선주 차장은 데이터 거버넌스를 리딩하고 있는 데이터 관리 포털 구축 과정도 소개했다. 김선주 차장은 “초기 데이터 관리 포털은 2019년 착수를 해서 2020년 준공을 했다. 초기에 데이터 관리 포털에서 구축 범위의 목적은 DB 현황을 분석할 수 있고 데이터 관리 체계를 보완하는 것에 주안점을 뒀다. 이 과정에서 모듈형으로 엔코아의 데이터 솔루션들을 도입했다. 이후 커스터마이징을 추진했다. 기존 레거시 시스템들과 연계하는 작업도 진행했다”면서 “데이터 연관도 분석을 통해 한국수자원공사만의 프로세스를 적용한 초기 버전의 데이터 관리 포털을 구축했다. 이렇게 데이터 업무에 자동화를 적용하고 관리 대상 항목들을 시스템화함으로써 데이터 표준화, 데이터 관리, 데이터 모델 관리, 메타 데이터 관리, 데이터 흐름, 데이터 영향도 분석까지 이 통합된 환경에서 모든 것이 가능하게 됐다”고 설명했다.

김선주 차장은 데이터 관리 포털 구축 효과도 소개했다. 먼저 데이터를 실무에 적극 활용할 수 있는 기반을 제공해 데이터 사용자층을 확대·지원할 수 있게 돼 데이터 기반 업무 비중이 확대됐다. 또한 데이터를 분석하기 위해 데이터 수집, 전처리, 융합에 필요한 소요시간을 절감하고 분석업무에 집중할 수 있는 환경이 마련됐으며, 업무 전문가가 오토ML(AutoML)을 활용해 고급 진단 분석이 가능한 환경도 구현했다.

데이터의 심포니, 통합에서 거버넌스까지

네 번째 발표는 엔코아 김성식 사업지원 그룹장이 ‘데이터의 심포니, 통합에서 거버넌스까지’를 주제로 발표를 이어갔다. 데이터 컨설팅 측면에서 데이터 관리를 위한 데이터 거버넌스, 관련 사례를 공유했다.

먼저 김성식 그룹장은 데이터 관리가 이뤄지는 과정을 ‘시스템 준비 및 구축 단계’, ‘시스템 운영 단계’, ‘데이터 활용 단계’ 등 세 단계로 구분해 소개했다. 시스템 준비 및 구축 단계에서는 PI, ISP, 자산화, 과제와 같은 시스템 준비 단계를 거쳐 차세대 시스템 구축을 진행한다. 이러한 준비 및 구축 단계는 데이터 관리 프로세스를 확립하고 데이터 거버넌스 체계의 적용에 최적의 시기다. 특히 환경 변화, 법/규제에 대해 유연하고 신속하게 대응하기 위한 데이터 체계 분석, 진단 및 미래 데이터 체계와 모델 구축 등을 수행하기도 한다.

시스템 운영 단계에서는 시스템 구축 시점의 품질 유지가 필요하며, 조직 내 협업 강화 및 데이터 중심 문화가 조성된다. 또한 데이터 거버넌스 프로세스를 자동화하고 효율성을 높이는 단계다. 이 과정에서는 시스템 운영에 정책과 프레임워크를 제공해 데이터 보안, 품질, 접근성을 유지하도록 체계를 구현해야 한다.

세 번째는 데이터 활용 단계다. 이 단계에서는 실시간 데이터 분석 요구사항이 증가하고, 오픈소스 중심의 데이터 파이프라인이 구축돼야 한다. 또한 생성형 AI는 레이크하우스 환경에 통합될 경우 분석 능력을 강화할 수 있다. 최근에는 멀티·하이브리드 클라우드 환경 속 오픈소스의 발달로 선택 가능한 기술들이 많고, 각 요구사항에 따라 최적화된 기술을 사용해야 한다.

마지막으로 김성식 사업지원 그룹장은 “처음 인터넷이 나오고 다음 모바일, 최근 생성형 AI가 떠오르면서 공통점을 생각했다. 해답은 기업 내부 데이터에 대한 접근이었다. 기업 내부 데이터를 사용하기 위한 시스템 구축, 운영·활용 등 과정에서 메타데이터 및 실데이터의 결합은 무궁무진한 확장성과 기회를 제공할 것”이라면서 “이를 위해 데이터 관리에 역점을 두고 시스템 준비 및 구축 단계에서는 데이터 거버넌스 체계를 적용하기 위한 최적화를, 시스템 운영 단계에서는 단일 통합 저장소 기반 산출물들을 관리하는 작업을, 마지막은 다변화된 환경 속 선택 가능한 기술과 요구사항에 맞는 기술을 접목시켜 데이터를 활용해야 한다”고 조언했다.

최적의 솔루션 레시피, 데이터 거버넌스 기반의 DX부터 AIX 구축까지

다음은 엔코아 김선영 솔루션그룹장이 ‘최적의 솔루션 레시피, 데이터 거버넌스 기반의 DX부터 AIX 구축까지’를 주제로 연단에 올랐다. 엔코아 김선영 솔루션그룹장은 활용에 초점을 맞춘 데이터 거버넌스 체계의 중요성을 강조했다.

김선영 그룹장은 데이터 사용자와 공급자 입장에서의 이슈를 각각 짚었다. 김선영 그룹장에 따르면, 데이터 사용자 입장에서는 최근 현업의 분석 요건이 빠르게 시시각각 변하고 있다. 또한 필요한 데이터를 빠르게 찾기가 어렵고, 데이터가 개별로 존재하며 표준이 없어 연계가 어렵고 일련의 과정을 수작업으로 해야 한다는 점이 데이터 사용 이슈로 꼽힌다.

데이터 공급자 입장에서는 데이터를 조직·업무별로 갖고 있기 때문에 데이터가 불일치하는 경우가 잦다. 또 데이터가 어떤 의미를 내포하는지 파악하기 위해 묻거나 찾는 등 확인하는 과정을 따라야 하기에 데이터를 통합하기도 어렵다. 이는 곧 정보시스템이 변경되면 데이터 품질에 오류가 생기고, 당연히 서비스에도 문제가 생길 수 있는 가능성으로 연결된다.

김선영 그룹장은 이러한 데이터 관리 문제를 해결할 수 있도록 2025년 출시될 예정인 데이터 모델링 도구 DA# 4가지 버전의 통합제품 ‘데이터웨어 DA# 통합버전’과 9개의 데이터웨어 솔루션을 통합한 ‘데이터웨어 데이터 거버넌스(DATAWARE DATA Governance)’를 상세히 소개했다.

먼저 데이터웨어 DA# 통합버전은 엔코아의 모델링 도구 DA#의 4개 버전을 통합해 제공하는 패키지 솔루션이다. 여기에는 데이터 모델관리 솔루션 DA#과 AI를 활용한 모델 자동화 ‘DA # AI 파워드 팩(DA# AI Powered Pack)’, 데이터 모델 기반 품질진단 솔루션 ‘DA# DQ 에디션(DA# DQ Edition)’, 표준데이터 패키지와 자동분석이 가능한 ‘DA# 콘텐츠 빌더 에디션(DA# Contents Builder Edition)’으로 구성됐다.

이에 대해 김선영 그룹장은 “DA#의 강점은 개괄, 개념, 논리, 물리 모델링을 지원하며, 다계층/다차원 표현 서브타입 구조를 지원한다는 점이다. 또한 리버스, 포워드 엔지니어링과 다중 DBMS 모델링이 가능하다. 모델과 모델, 모델과 DBMS 간 GAP 분석도 가능하며표준 용어 인텔리센스 편집, 모델 백업 및 복구 등이 가능하다”고 소개했다.

아울러 데이터웨어 데이터 거버넌스도 강조했다. 데이터웨어 데이터 거버넌스 데이터 모델관리 ‘DA’, 데이터 표준관리 ‘META’, 데이터 품질관리 ‘DQ’, 애플리케이션 영향도 분석 ‘AP’, 데이터 흐름관리 ’DF’, 데이터 이행관리 ‘ETT’, 데이터 운영관리 ’SQL’, 데이터 가상화 ‘DV’, 데이터 포털 ‘DP’ 등 9개 솔루션을 조합해 레시피(Recipe) 형태로 제공하는 서비스다.

김선영 그룹장에 따르면, 데이터 거버넌스의 기본이 되는 표준, 모델, 품질관리가 담긴 ‘데이터웨어 #1(DA, META, DQ)’, 데이터 거버넌스 기본 구성에 데이터 흐름 관리와 영향도 분석이 추가된 ‘데이터웨어 #2(DQ, META, DQ, DF, AP)’, 데이터 거버넌스 전체 구성에 활용을 위한 데이터 포털이 추가된 ‘데이터웨어 #3(DQ, META, DQ, DF, AP, DP)’ 등 형태로 구성돼있다.

데이터 업사이클링을 지원하는 데이터 운영 서비스 데이터케어

행사의 대미는 엔코아 유선우 실장이 ‘데이터 업사이클링을 지원하는 데이터 운영 서비스 데이터케어’를 주제로 발표하며 장식했다. 유선우 실장은 엔코아에서 제공하는 데이터 관리와 운영 노하우를 서비스로 구성한 ‘데이터케어’를 소개했다.

먼저 유선우 실장은 데이터 관리를 고민하는 기업들의 페인포인트(PainPoint)를 짚었다. 유선우 실장은 “많은 기업들은 데이터 기반의 비즈니스 혁신을 이루고자 한다. 하지만 데이터 관리를 고민하는 과정에서 노후화된 기존 시스템에 대한 데아터를 파악할 수 있는지, 데이터 자산화를 어디부터 시작해야 할지, 데이터 자산화에 투입되는 기간과 비용, 자산화 이후 지속적인 관리, 대규모 프로젝트를 통해 자산화할 경우 기대효과를 충족할 수 있는지, 데이터 분석/활용 문화 확산이 빠르게 자리잡을 수 있는지 등과 같은 페인포인트가 존재한다”고 설명했다.

데이터 관리 페인포인트에 대응할 수 있도록 기업 상황에 따른 차별화된 문제 정의, 단계적 도입 방식, 지속적인 효율성 검증 등 체계가 요구된다. 구체적으로 AS-IS 현황 분석을 통해 문제를 정의하고, 단계적 데이터 관리 로드맵을 수립해야 하며, 데이터 관리/활용 서비스 및 솔루션을 고객 상황에 맞게 도입해야 하며, 효과성 검증 기반의 점진적인 확산 체계를 마련해야 한다.

엔코아는 이를 위해 데이터 관리 서비스 ‘데이터케어’를 지원하고 있다. 데이터케어는 사전진단 서비스, 운영 서비스, 품질관리 서비스 등 3종의 서비스로 구성돼있다. 먼저 사전진단 서비스는 베이직과 프리미엄으로 구분된다. 베이직 진단은 무상진단을 통해 데이터 관리 과제를 도출하며, 프리미엄 진단은 특정 과제 영역에 대해 뎁스 있는 진단을 제공한다.

운영 서비스는 데이터 전문 서비스로 데이터 거버넌스 관리 및 역량 육성, 데이터 분석 지원 등을 제공하며, eDW(DW, ETL, DM) 및 BI 시스템 등 데이터 시스템 운영을 제공한다. 마지막으로 품질 관리 서비스는 AI/데이터 관련 시장 트렌드가 담긴 엔코아 사례 리포트를 제공한다. 또한 서비스 품질 유지를 위한 PMO 서비스도 지원해 장애/이슈 관리가 가능하다.

발표 마지막으로 유선우 실장은 “엔코아는 함께 성장하고 비전을 발전시킬 다양한 파트너를 구하고 있다. 엔코아가 보유한 솔루션 역량과 컨설팅 역량을 통해서 현재의 비즈니스를 확장하고 싶은 기업, 데이터뿐만 아니라 AI를 통해서 엔코아와 함께 성장하고 싶은 기업은 언제든 연락주길 바란다”고 당부했다.