[아이티데일리] 챗GPT를 위시로 생성형 인공지능(AI)이 빠르게 확산하고 있다. 기업들은 비즈니스의 새로운 활로를 모색하고자 생성형 AI 도입에 전사적인 노력을 기울이고 있다. 정부도 생성형 AI를 국내 산업계에서 활용할 수 있도록 지원사업을 펼치며 확산의 마중물 역할을 자처하고 있다. 학습된 데이터를 토대로 결과물을 생성하는 생성형 AI 모델을 도입하고 활용하기 위해서는 데이터 수집과 저장, 모델 학습을 하나의 프로세스로 체계화하는 등 데이터 전략이 필요하며 그에 따른 다양한 문제를 해결해야 한다.

본지(컴퓨터월드/IT DAILY)는 2024 데이터 컨퍼런스의 주제를 ‘생성형 AI와 빅 데이터 + α’로 설정하고, 국내 기업과 공공기관에게 생성형 AI를 적용하기 위해 필요한 데이터 수집, 저장, 학습 등 제반 과정부터 생성형 AI에 대한 심도 있는 인사이트를 제공할 수 있는 컨퍼런스를 개최했다. 데이터 컨퍼런스 현장으로 들어가 본다.

마지막으로 아마존웹서비스(AWS) 김정원 솔루션즈 아키텍트가 사용자 중심의 생성형 AI를 활용하기 위한 데이터 활용 및 관리 전략: 놀리지 베이스(Knowledge Base) 구축을 중심으로’라는 주제로 발표했다.

더 나은 생성형 AI를 위한 차별점으로 김정원 아키텍트는 데이터를 꼽으며 “정확하고 신뢰할 수 있는 데이터를 사용해야 비즈니스 가치를 지닌 모델을 성공적으로 개발할 수 있다”고 말했다.

가령 여행사의 가상 에이전트라면 여행 이력, 항공 및 호텔 정보가 필요하고, 기업 내 대화형 검색 서비스라면 사내 메신저 정보, 공유자료 저장소 등을 확보해야 할 것이다. 이러한 데이터를 마련하지 못한다면 만족스러운 성능의 AI를 얻을 수 없다는 것이 김정원 아키텍트의 지적이다.

한편, AWS는 사용자 중심의 데이터 전략을 바탕으로 생성형 AI 애플리케이션을 제작할 수 있도록 ‘아마존 베드록(Amazon Bedrock)’을 통해 모델 학습, 파인튜닝, 검색 증강 생성(RAG) 등 개발 전 과정을 지원하고 있다. 특히 주요 AI 기업의 파운데이션 모델을 폭넓게 지원하며, 해당 모델을 손쉽게 사용할 수 있도록 단순화된 형태의 메뉴로 구성했다. 또한 벡터 데이터 저장소를 개별 세팅하는 번거로움을 줄이는 기능과 LLM을 API 방식으로 바로 호출할 수 있는 엔드포인트도 제공한다.

AWS 김정원 아키텍트는 “명확한 전략을 수립해 품질 높은 데이터를 확보해야 생성형 AI의 잠재력을 최대한 끌어낼 수 있다. 여기에 현업에서 발생하는 요구사항을 반영해 모델을 지속적으로 개선하는 ‘LLM옵스(Ops)’를 아마존 베드록과 함께 구현한다면 더욱 정확도 높은 AI 모델을 개발할 수 있을 것”이라고 말했다.