[아이티데일리] 

서론

e커머스 분야에서 2023년을 돌아보면 두 가지 큰 사건을 꼽을 수 있을 것 같다. 첫째는 오픈AI(OpenAI) 발 챗GPT로 촉발된 생성형 인공지능(AI)의 출현이다. 2022년 말에 공개된 챗GPT는 출시된 지 40일 만에 전 세계적으로 사용자 천만 명을 끌어모았고, 2개월 만에 전 세계적으로 월간 사용자 1억 명을 돌파했다. 이는 인터넷 등장 이후 가장 빠른 속도로 성장한 서비스로 기록되고 있다.

챗GPT는 특정 IT 기업에만 제한되었던 AI를 일반인들이 일상에서 손쉽게 접하고 대화형 생성 AI의 놀라운 능력을 체감하게 함으로써, 기업들이 AI를 바라보는 관점에 큰 변화를 가져왔다. 실제 e커머스 기업도 멀게만 느껴졌던 AI를 현업 비즈니스에 접목해야 하는 때가 도래했다.

둘째는 알리, 테무를 주축으로 한 중국발 ‘C커머스 공습’이다. 알리와 테무는 거대 자본을 앞세워 젊은 층 중심의 ‘초저가 e커머스’라는 새로운 시장을 창출해 나가고 있다. 앱 분석 서비스 와이즈앱에 따르면 올 3월 기준 알리와 테무의 월간 사용자 수는 양사 모두 800만 명을 넘었고, 출시 1년 만에 국내시장에서 매출 1조 원을 거둬들인 것으로 알려졌다.

이처럼 국내시장을 둘러싼 한중 e커머스 업체의 불꽃 튀는 경쟁이 시작되는 가운데 AI 기술을 활용해 어떻게 기존 비즈니스 효율을 향상하고 새로운 비즈니스 돌파구를 마련할 수 있을지가 최근 e커머스 기업들의 관심사가 되고 있다.

이번 시리즈 기고를 통해 생성형 AI를 비즈니스에 접목함에 있어 고려해야 할 기본적인 기술 요소, 도입 전략, 현실적인 접근 방법 들을 소개하고자 한다. 또한 버즈니가 12년간 자사 앱 홈쇼핑모아를 운영하며 축적한 커머스 AI 기술을 e커머스 분야에 적용한 사례도 함께 소개한다.

생성 AI 도입 전략과 기본 기술 요소

지난해 챗GPT 모멘텀이 있기 전부터 인공신경망 기반의 AI 기술은 비전, 음성, 자연어처리(NLP) 영역에서 지속적인 발전을 거듭하고 있었다. GPT 기반의 초거대언어모델(Large Language Model)의 등장은 그동안 상대적으로 연구 과제가 많았던 NLP 분야의 많은 영역에 비약적인 성능 향상을 보여줬다. 생성 AI는 이후 이미지, 음성, 영상 등 멀티모달로 확장되며 거의 모든 산업에 적용될 수 있다는 점을 확인시켜 줬다.

본 장에서는 생성 AI를 중심으로 기업이 AI 기술을 도입함에 있어서 기본적으로 고려해야 할 기술 요소들과 전략들을 간략하게 소개한다.

인공지능 기술(AI)의 핵심 구성 요소는 알고리즘(모델)과 데이터다. 알고리즘 관점에서 현재 기업이 선택할 수 있는 초거대언어모델은 오픈AI의 GPT4를 중심으로 하는 폐쇄형 모델과 메타의 라마(Llama3)를 중심으로 한 오픈형 모델이다.

현재 대형 플랫폼 기업과 AI 스타트업 등 10여개 회사가 두 진영으로 나뉘어 치열하게 파운데이션 모델의 패권 쟁탈전으로 벌이고 있다. 경쟁을 위해서는 파운데이션 모델 학습에 필요한 하드웨어에만 수조원이 들어갈 만큼 천문학적인 투자가 필요하다. 모델 간의 벤치마크 순위도 수시로 바뀌고 있기 때문에 기업의 입장에서는 각자의 비즈니스 상황에 맞게 좋은 모델을 선택해 활용하는 것이 현실적인 대응이다.

다행인 것은 모델 학습에 비해 추론(서비스에 사용)에 드는 하드웨어 비용과 사용 비용은 기업이 감당할 만한 수준이기에 단기적인 관점에서 빠르게 도입해 비즈니스 효과를 테스트해 볼 수 있다. 각 산업의 프라이빗 모델을 구축하고 거대 플랫폼 기업에 지불하는 API 사용 비용을 줄이기 위해 오픈 모델을 기반으로 버티컬 sLM(small Language Model)을 자체 빌드하는 경우도 있다.

데이터적인 관점에서 LLM의 대표 격인 GPT4는 학습을 위해 약 300TB의 데이터를 필요로 했고, 모델의 파라미터 수는 1조 7천억 개로 추정된다. 이러한 추세로 발전하면 앞으로 2년 안에 인터넷에 공개된 데이터만으로는 데이터 공급이 모델 크기를 따라가지 못할 것으로 예측하고 있다.

이는 2가지를 시사하고 있다. 첫째는 초거대 언어모델이 현존하는 거의 모든 공개(Public) 데이터에 대한 학습을 바탕으로 큰 추론 능력을 갖추고 있기에 기존 업무의 상당 부분을 자동화할 수 있는 잠재력을 가지고 있다는 것이다. 둘째는 모델이 공개된 데이터로만 학습되었기에 아이러니하게 실무에서 진짜 필요한 내부(Private) 데이터를 잘 모른다는 것이다.

이런 특징을 기반으로 기업이 각자의 내부 데이터를 LLM에 접목하기 위해서는 2가지 방법을 취할 수 있다.

첫 번째 방법은 파인 튜닝(fine tuning) 전략이다. 파인튜닝은 공개된 모델을 기업의 목적에 맞게 특정 태스크에 대해 추가로 학습시킴으로써 모델을 최적화하는 방법이다. 이 방법은 모델의 가중치를 새롭게 학습하기에 특정 태스크에 초점을 맞춘 모델을 보유할 수 있다.

반면 성능 좋은 커스텀 모델을 구축하려면 추가하는 학습 데이터가 커야 하며 많은 학습 시간그리고 많은 비용이 필요하다. 또한 커스텀 모델을 구축하기 위해서는 딥러닝 전문성과 엔지니어링 전문역량을 갖춘 팀을 보유해야 한다.

두 번째 방법은 RAG(Retrieval Augmented Generation) 전략이다. RAG 방식은 프롬프트 엔지니어링을 통해 입력을 최적화하는 방법이다. 이 방법은 특정 태스크에 대한 적절한 프롬프트를 설계해 모델이 더 명확하고 정확한 답변을 도출하도록 출력을 개선한다. RAG 방식은 기존 모델을 그대로 활용하기 때문에 빠른 적용이 가능하며, 다양한 파운데이션 모델을 비교 분석할 수 있다는 장점이 있다. 단점은 각각의 비즈니스 요구에 적절하게 부합하는 프롬프트를 설계하기가 까다로울 수 있으며 반복적인 실험이 필요하다.

두 가지 방법의 장단점을 고려해 보면 기업의 입장에서는 상대적으로 적은 비용으로 빠르게 PoC를 해볼 수 있는 RAG 방식이 유리할 것으로 보인다. 아래의 논문 분석에 따르면 베이스라인 모델에 RAG 형식을 조합한 경우가 가장 좋은 성능을 보여주고 있다.

e커머스의 AI 적용 사례

이번 장에서는 버즈니의 서비스형 AI(AIaaS, AI as a Service)를 실질적으로 서비스에 적용한 사례 중심으로 설명하고자 한다.

잘 동작하는 제품을 넘어 잘 쓰이는 제품을 만들고 더 나아가 신규 비즈니스 모델(BM)을 만들기 위해서는 기술 제품을 적용하고 검증할 수 있는 서비스가 중요하다. 알고리즘, 데이터, 서비스 3가지 요소를 결합하고 선순환의 구도를 만들어야 실질적인 문제를 풀 수 있다.

버즈니는 18개 홈쇼핑사의 1억 건 이상 상품 데이터와 월간 1,000만 명에 달하는 사용자 데이터를 보유하고 있고, 연간 1,000억 원의 주문액이 발생하는 모바일 홈쇼핑 플랫폼 ‘홈쇼핑모아’를 운영하고 있다.

버즈니는 검색과 NLP 기술 기반으로 창업한 기술 스타트업이다. AI 관련 세계 톱 컨퍼런스 학회 및 관련 대회에서 1위를 한 우수한 연구 역량을 보유하고 있다. 버즈니는 홈쇼핑모아 서비스를 런칭한 후 커머스 분야에 사용되는 여러 기반 기술들을 당시의 ‘스테이트-오브-아트(state-of-art)’ 머신러닝 기술들을 활용해 직접 개발하고 적용했다. 인공신경망 기반의 딥러닝 기술의 발전과 더불어 기존의 통계 기반 머신러닝 모델들을 신경망 기반으로 업그레이드하는 작업을 지속적으로 진행했다. 사용자 시나리오에 기반해 개발된 기술 제품들은 철저한 ab테스트를 통해 비즈니스 효과를 측정했다.

특히 비디오 하이라이팅 기술의 경우, 다가올 숏폼 커머스 시대에 대한 전략적 대응으로 장기적인 관점에서 많은 연구 역량을 투입하고 있다. 최근 비디오 하이라이트 디텍션(Video Highlight Detection) 영역의 벤치마크에서 SOTA(State-of-the-Art)를 달성하기도 했다.

아래는 그동안 버즈니가 축적한 대표적인 커머스 AI 기술 제품군이며, 올해부터 본격적으로 홈쇼핑사를 비롯한 e커머스사에 공급되고 있다.

1. 검색 AIaaS

버즈니 검색 AIaaS는 자체 개발한 다수의 AI 모델을 복합적으로 적용해 검색 성능을 극대화한 검색 엔진이다. 시멘틱 검색, 이미지 검색, 카테고리 분류기, 속성 추출기, 가격비교 엔진 등 요소 기술들을 포함하고 있으며 기존 구축형 검색엔진 대비 40%~60% 이상의 매출 성장을 거두고 있다.

2. 리뷰 AIaaS

버즈니 리뷰 AIaaS는 자체 개발한 NLP 모델을 최적화해 e커머스 영역 내 리뷰의 가치를 극대화하고 있다. 리뷰 랭킹, 의견 추출 및 그룹핑, 의견 속성 분류, 감성 분석 등 리뷰 통합 솔루션을 제공하고 있다.

3. 영상 AIaaS

버즈니 영상 AIaaS는 영상 하이라이트, 숏츠 영상 자동 생성/편집 기능을 포함하고 있다. 단순히 비디오를 처리하는 솔루션이 아닌 커머스 문맥을 이해하고 도메인에 최적화된 모델을 제공하고 있다. 음성 기반 문맥 정보를 LLM 기반으로 요약하고 핵심 키워드를 생성하고, 자체 개발 모델을 통해 영상 화면 정보를 자연어로 전환해주는 기능도 포함하고 있다.

이 기술들을 소개하는 또 다른 이유는 e커머스에서 생성 AI를 제대로 활용하려고 하면 여러 요소 기술이 반드시 필요하고 이런 기술들을 통합적으로 운영할 수 있는 노하우가 필수적이기 때문이다.

위에서 설명한 대로 RAG 전략을 잘 사용하려면 우선 상품 데이터, 이미지 데이터, 영상 데이터, 리뷰 데이터 등 다양한 형태의 데이터를 정제하고, 마이닝하는 기술들이 필수적이다. 제품에 따라서 음성 인식 기술이 필요할 수도 있고, OCR를 활용해 빅사이즈 이미지에서 중요한 속성을 추출할 수 있어야 하며, 방대한 사용자 리뷰 데이터에서 필요한 속성 정보를 추출할 수 있어야 한다. 산더미 같은 데이터에서 유용한 맥락 정보를 모델에 제공해야만 정확하고 유의미한 답변을 얻을 수 있고, 비로소 서비스에 적용할 수 있는 것이다.

버즈니는 위에서 설명한 다양한 커머스AI 기술을 복합적으로 적용해 지난해 7월 e커머스 분야에서 가장 빠른 속도로 상용화 서비스인 ‘쇼핑GPT’를 선보였다. 또한 해당 기술은 지난해 신세계라이브 쇼핑에 ‘신세계 쇼핑 AI’라는 이름이 적용돼 이용자의 편의성을 향상시켰다.

결론

인공지능 기술이 산업계의 필수 역량으로 떠오르고 있는 가운데 테크 역량이 부족한 중소기업 대다수가 AI 도입에 어려움을 겪는 것으로 파악됐다.

AI 기술은 대기업 중심으로 도입이 이뤄지고 있으며 중소기업은 AI 기술 투자 비용과 기술 이해도, AI 인재 부재 등으로 도입에 여려움을 겪고 있다.

AI 기술 자체 구축은 전문성과 오랜 기간의 기술 투자와 축적이 필요한 영역이기에, 자신이 속한 도메인을 잘 이해하고 실질적인 비즈니스 가치를 향상한 AI 기술들을 SaaS 형태로 빠르게 도입하는 것도 현실적인 대안이 될 수 있다.

직면한 여러 난제가 있음에도 불구하고 각 산업의 AI 트랜스포메이션(Transformation)은 막을 수 없는 대세로 자리 잡고 있으며 특히 e커머스 도메인의 경우 경쟁사보다 한발 더 빨리 커머스 AI를 도입해 비즈니스 혁신을 이루는 것이 경쟁에서 살아남는 방법이라고 생각한다.