[2025 클라우드 컨퍼런스②] “생성형 AI를 적용한 엔드투엔드 추천 시스템”

[아이티데일리] 생성형 AI가 확대되면서 기반 인프라로 자리매김한 클라우드 역시 황금기를 맞이했다. 특히 확장성이 용이한 클라우드 인프라 위에서 방대한 데이터를 빠르게 수집·저장하고, 생성형 AI를 활용해 효율적으로 인사이트를 추출하며, 비즈니스에 민첩하게 접목하는 일련의 과정이 비즈니스 성패를 결정짓는 시대가 됐다. 국내외 기업들 역시 클라우드와 생성형 AI를 통해 비즈니스를 혁신하고자 많은 투자를 단행하고 있다.

올해로 40주년을 맞이한 컴퓨터월드/아이티데일리는 클라우드 산업이 생성형 AI라는 트렌드를 기회로 삼아 자생력을 갖추고 비즈니스 기회를 얻을 수 있도록 지원하고자 ‘제8회 2025 클라우드 컨퍼런스’를 개최했다. 기술 정보, 시장 및 사업 인사이트, 각종 솔루션과 활용 사례를 등이 공유된 현장 속으로 들어가 본다.
 

다음으로 솔트웨어 박창우 이사/AI서비스본부장이 ‘생성형 AI를 적용한 엔드투엔드 추천 시스템’을 주제로 연단에 올랐다. 박창우 본부장은 AWS 클라우드의 생성형 AI 기반 엔드투엔드 추천 시스템 구축 방안을 소개했다.

박창우 본부장에 따르면, 추천 시스템을 위해서는 데이터 전처리부터 수행해야 한다. 이 과정에서는 고객 행동 데이터나 유저-상품 간 인터랙션 데이터, 리뷰, 카테고리, 가격, 클릭 등 정보와 주요 피처(feature)를 추출해 LLM에 적합하도록 전처리해 JSON 형태로 변환해야 한다.

전처리가 완료되면 임베딩(Embedding)을 해야 한다. 임베딩은 LLM을 보다 잘 사용하기 위해 데이터를 구조화하는 작업이다. 이 과정에서는 전처리가 완료된 데이터에서 제품별로 피처를 메타 데이터와 콘텐츠로 구성해야 한다. 벡터화가 끝나면 검색증강생성(RAG)을 구현해야 한다. RAG를 통해 사용자의 인풋이 오면 벡터화한 후 기존 상품과 고객 벡터 데이터들을 통합해 시스템 프롬프트를 정의하고 합쳐서 답변할 수 있도록 구현해야 한다. 해당 과정을 통해 개인화를 강화할 수 있다.

다음은 테마 생성이다. 테마 생성의 아키텍처는 시즌별 상품을 분류하고 키워드를 추출한 후 카테고리화해 테마를 생성하게 된다. 박 본부장은 “필요한 시즌, 상품 정보를 배치 작업해 상품을 분류하고, 상품 정보에서 키워드를 추출해서 어떤 부분의 키워드가 중요한지 톱 랭크를 선정해 그루핑해야 한다”면서 “AWS 베드락을 기반으로 랭체인, AWS 타이탄 등을 통해 손쉽게 구현할 수 있다”고 부연했다.

네 번째는 상품 정보를 기반으로 키워드를 추출하고 카테고리화해 최적의 테마를 생성하는 ‘테마 생성 플로우 과정’을 수행해야 한다. 박 본부장은 이 과정에서 ‘프롬프팅’ 기술의 중요성을 강조했다. 박 본부장은 “최근 GPT를 쓰는데 어떻게 일을 시키냐에 따라 질이 다르다. 단순히 질문하는 정도로 치부하는데 절대 그렇지 않다. 방법론도 다 있다. 해외에서는 프롬프팅을 위한 엔지니어들이 존재하며, ‘역할 부여’나 ‘단계적 지침 제공’, ‘출력 형식 지정’ 등 다양한 기법이 있다”고 설명했다.

다음은 배치 처리로 비용과 속도를 최적화하는 작업을 수행해야 한다. 배치 작업에는 시즌별 상품 분류 및 키워드 추출 작업에서 효과를 검증하고, 100~50,000개의 레코드를 JSONL 형식으로 생성해야 한다. 또한 AWS S3에 업로드한 후 배치 병렬 처리로 API 호출 횟수 축소 및 속도 향상도 해야 한다. 이후 배치 작업 상태 모니터링 및 결과 검토도 따라야 한다.

또한 여러 FM 모델을 대상으로 시즌 태깅을 비교하는 ‘옵티마이징 모델 & 프롬프팅’ 작업을 해야 한다. 솔트웨어가 실제로 ‘하이쿠 3.5’와 ‘소넷 3.5’을 비교하며 상품에 대한 시즌 분류 결과를 분석해보니 하이쿠 3.5가 대량 호출, 이벤트 태깅, 비용면에서 유리한 것으로 나타났다.

마지막으로 박창우 본부장은 “생성형 AI 기반 추천 시스템을 구성하는 전체 과정에서 임베딩과 벡터 DB의 실시간 업데이트 파이프라인 구축 작업이 중요하다. 새로운 제품이 추가되거나 기존 제품이 단종될 수 있다. 또한 가격 변동도 잦을 수 있다. 이러한 모든 변화에 즉각적으로 대응하기 위해선 상품 데이터 변경에 따라 임베딩 과정도 동적으로 업데이트돼야 한다. 임베딩이 최신 상품 정보를 반영하지 못하면 검색 정확도가 저하되고 추천 품질이 저하될 수 있다”고 강조했다.