[2024 데이터 컨퍼런스⑦] “데이터 기반의 엔터프라이즈 생성형 AI 플랫폼”

[아이티데일리] 챗GPT를 위시로 생성형 인공지능(AI)이 빠르게 확산하고 있다. 기업들은 비즈니스의 새로운 활로를 모색하고자 생성형 AI 도입에 전사적인 노력을 기울이고 있다. 정부도 생성형 AI를 국내 산업계에서 활용할 수 있도록 지원사업을 펼치며 확산의 마중물 역할을 자처하고 있다. 학습된 데이터를 토대로 결과물을 생성하는 생성형 AI 모델을 도입하고 활용하기 위해서는 데이터 수집과 저장, 모델 학습을 하나의 프로세스로 체계화하는 등 데이터 전략이 필요하며 그에 따른 다양한 문제를 해결해야 한다.

본지(컴퓨터월드/IT DAILY)는 2024 데이터 컨퍼런스의 주제를 ‘생성형 AI와 빅 데이터 + α’로 설정하고, 국내 기업과 공공기관에게 생성형 AI를 적용하기 위해 필요한 데이터 수집, 저장, 학습 등 제반 과정부터 생성형 AI에 대한 심도 있는 인사이트를 제공할 수 있는 컨퍼런스를 개최했다. 데이터 컨퍼런스 현장으로 들어가 본다.

오후 세션은 △생성형 AI와 빅데이터 △활용사례 등 2개의 트랙으로 나뉘어 진행됐다. 트랙 1의 첫 번째 세션은 클라우데라 김호중 전무가 ‘데이터 기반의 엔터프라이즈 생성형 AI 플랫폼’를 주제로 발표했다. 김호중 전무는 구글의 보고서를 인용하며, 생성형 AI와 데이터 트렌드에 대해 설명했다. 김 전무에 따르면, 이미 수많은 기업 및 조직은 생성형 AI를 통해 조직 전체에 인사이트를 창출하고 있다. 기업들은 그러나 생성형 AI를 적용하면서 △데이터 통합 △엄격한 모델 인프라 △보안 및 투명성 등 문제에 직면하고 있다.

김 전무는 데이터를 통합하기 위해선 데이터에 대한 접근이 간소화돼야 하고, 인프라의 특성이 모듈성, 유연성, AI 옵스 등을 갖춰야 하며, 보안과 투명성을 높이기 위해 모델 제어, 내장된 보안 기능, 가시성 및 거버넌스 등을 고려해야 한다고 주장했다.

클라우데라는 기업용 생성형 AI 활용을 돕고자 ‘데이터’와 ‘모델’, ‘보안’ 등 위에서 말한 3가지 측면을 모두 담보할 수 있는 솔루션인 클라우데라 엔터프라이즈 AI 플랫폼 ‘CML’을 제공하고 있다. CML은 클라우데라 데이터 레이크하우스 플랫폼인 클라우데라 클라우드 데이터 플랫폼(CDP) 내 AI LLM을 지원하는 통합 서비스다.

구체적으로 CML은 오픈소스 기반으로 돼 있어 다양한 오픈소스 및 써드파티와 연계가 가능하며 라이브러리를 추가할 수 있다. 또한 쿠버네티스를 기반으로 하고 있어 스케일 인과 스케일 아웃을 지원해 확장성도 높다. CPU와 GPU 확장도 쉽다. 모델 레지스트리를 통해 퍼블릭과 프라이빗 간 연계도 가능하다. 프라이빗에서 모델을 학습시키고, 퍼블릭에서 배포할 수 있다는 것이다.

마지막으로 김 전무는 싱가포르 OCBC 은행의 생성형 AI 서비스 구현 사례를 소개했다. 김 전무는 “OCBC 은행은 챗봇, 음성정보요약, 코드완성비서 등에 LLM 기반 애플리케이션을 CML에서 구축했다. 먼저 임직원에게 대화형 인터페이스 형태로 마케팅 아이디어, 고객 응대, 정보검색 및 상품추천 등을 할 수 있도록 오픈소스 LLM 팔콘(Falcon) 기반 OCBC GPT를 완성했다. 또한 통화내용을 자동으로 기록하고 요약하는 STT와 LLM 파워드 코드 컴플리트 툴(LLM Powerd Code Completion Tool)을 개발했다. STT를 통해 400명이 했던 수작업을 줄일 수 있었으며, LLM 파워드 코드 컴플리트 툴을 통해 코드 관련 리스크 감지에 투입되는 비용을 약 80% 절감했다”고 소개했다.