[아이티데일리] 전 산업계의 핵심 동력이 데이터를 중심으로 재편되고 있다. 특히 챗GPT(ChatGPT)의 등장 이후, 데이터 학습의 결정체인 생성형 AI가 전 세계의 뜨거운 감자로 부상했다. 수많은 데이터를 학습하고 이를 토대로 결과물을 생성하는 생성형 AI를 구현하기 위해 데이터의 수집부터 저장, 학습, 거버넌스 정립 등 제반을 다지는 작업이 더욱 중요한 과제로 떠올랐다.

본지(컴퓨터월드/아이티데일리)는 지난달 7일 서울 양재동 엘타워에서 각계 데이터 전문가 및 국내 대표 기업들과 함께 생성형 AI를 둘러싼 주요 이슈에 관한 해답과 데이터 활용 전략을 제시해 보고자 ‘생성형 AI & 빅데이터’를 주제로 ‘제20회 2023 데이터 컨퍼런스’를 개최했다. 데이터 인사이트와 핵심 전략이 공유된 이번 컨퍼런스 내용을 정리했다.

“생성형 AI 서비스를 위한 오픈 데이터 플랫폼”

트랙1 두 번째 세션은 클라우데라 김호중 전무가 ‘생성형 AI 서비스를 위한 오픈 데이터 플랫폼’을 주제로 발표를 진행했다.

김호중 전무는 생성형 AI 트렌드에 대해 얘기했다. 가트너의 ‘생성형 AI 하이프 사이클’에 따르면 현재 생성형 AI 워크로드와 파운데이션 모델은 시장에서 가장 앞서나가고 있는 개발 영역이며, 벡터 DB와 에지 LLM 등이 시장에서 점차 주목받고 있는 상황이다. 아직까지 생성형 AI는 기술 트렌드상 초기 단계지만, 지속적인 기술 발전이 이뤄지고 있어 아이폰이 등장했을 때와 같은 지대한 영향을 미칠 것이라는 것이 김호중 전무의 설명이다.

최근의 시장 동향을 살펴보면, 오픈AI(OpenAI)와 앤트로픽(Anthropic)을 선두로 AWS, 마이크로소프트(MS), 구글 등의 빅테크 기업들이 자체 AI 모델과 서비스 개발에 앞장서고 있다. 특히 정보 보안성을 확보하고자 상용화된 API 서비스 외의 기업 자체적으로 소형 언어 모델(sLLM)과 프라이빗 LLM을 구축하려는 수요도 크다.

이와 관련해 클라우데라는 자사 솔루션 ‘AMP(Applied ML Prototypes)’와 ‘CML(Cloudera Machine Learning)’ 기반의 LLM 지원을 서비스하고 있다. AMP는 개발자가 아닌 직업군의 사용자 누구나 클릭 몇 번만으로 간편하게 LLM을 체험해 볼 수 있는 프로토타입 솔루션이다. CML 기반에서는 데이터 분석가들이 자체 시스템에 따로 오픈소스 모델을 설치·배포하는 과정 없이, UI로 ‘주피터(Jupyter)’와 같은 툴들을 자유롭게 사용할 수 있다.

김호중 전무는 클라우데라 솔루션을 활용해 생성형 AI 서비스를 구현한 사례로 싱가포르 OCBC은행의 구축 사례를 소개했다. 김 전무는 “OCBC은행은 CML을 기반으로 3가지의 생성형 AI 서비스를 개발해 활용 중이다. 먼저 코드 생성 기능으로 개발자의 생산성 향상을 돕고, 기존에 생성된 코드도 점검해 코딩 문제를 해결하는 ‘OCBC 윙맨(OCBC WINGMAN)’이 구축됐다. 다음은 ‘OCBC 위스퍼(OCBC WHISPER)’ 서비스로 생성형 AI를 통해 고객 응대 평균 시간을 단축했으며, 상담 통화 내용을 자동으로 기록하고 요약하는 기능이 제공되고 있다. 마지막으로 싱가포르 및 동남아 지역의 언어적 특성을 학습한 ‘OCBC 도큐먼트 AI(OCBC DOCUMENT AI)’를 활용해 내부 문서 요약과 문서 정리 시간을 단축했다”며 “OCBC은행은 자사 CML 플랫폼을 기반으로 손쉽게 다양한 오픈소스를 업로드하고 활용해 유의미한 서비스를 구현할 수 있었다”고 설명했다.