안슬기 버즈니 검색PM

안슬기 버즈니 검색PM
안슬기 버즈니 검색PM

[아이티데일리] 버즈니 검색팀은 최근 모바일 홈쇼핑 포털 앱 ‘홈쇼핑모아’의 ‘베스트탭’을 포함한 검색 결과화면을 개선해 상품 클릭률 약 10%, 구매하기 클릭 수 약 30% 증가를 이끌어냈다. 검색서비스에서 상품 클릭률이 1~2%만 늘어나도 엄청난 변화로 인식되는 상황에서 10% 증가는 매우 이례적인 현상이라 할 수 있다.

이러한 지표 상승은 검색팀이 지향해온 ‘문제-가설-검증-학습’ 과정의 반복에서 나온 결과다. 이 과정은 그러나 책이나 미디어에서 소개하는 것처럼 물 흐르듯 간단하지 않았다. 어려움의 연속이었다. 버즈니 검색팀이 이 과정을 어떻게 수행했는지 실제 프로젝트 진행 과정을 소개한다.

검색팀 소개
버즈니 홈쇼핑모아 검색팀은 ‘우리만 할 수 있는 홈쇼핑 검색을 제공해 홈쇼핑 이용자들에게 필수가 되도록 하자’라는 미션 하에, 문제-가설-검증-학습을 반복하며 점진적인 개선을 지향한다. 검색팀은 FE, BE, PM, KM이 주축이 돼 자발적으로 과제를 만들고 검색 서비스를 개선해나가고 있다. 자발적이라는 의미는 미션을 달성하기 위해 각자의 분야에서 해야 할 일을 스스로 정한다는 것이다. ‘왜 해야 하는지’가 명확하다면 팀 내 합의로 각자의 업무 범위가 정해진다. 보통 미션과 현재 사이에서의 괴리가 ‘문제 인지’로 이어지며 과제는 시작된다.

이후 문제가 정해지면 서비스 내외부의 데이터를 근거로 가설을 세우고 팀 내 합의를 거친다. 가설을 검증하기 위해 백프로세스, 로직, 정책, UI/UX, AI 기술 등 범위를 가리지 않고 가능한 모든 방법을 검토한다. 아무리 고민을 많이 하고 오래 준비를 해도 가설은 언제나 틀릴 수 있음을 인정한다. 검색팀은 실패에 대한 부담을 줄이기 위한 방법으로 ‘최소기능구현-검증-학습-개선’ 의 반복을 택했다. ‘가설–검증’의 시간이 단축되면 더 빠르게 학습할 수 있고 더 많이 시도할 수 있다. 실패하더라도 더 자주 더 많이 시도하는 것을 추구한다. 이런 과정을 통해 실제로 많은 실패와 학습, 그리고 예상보다 큰 성과를 만들어 내기도 했다.

상품 클릭률 10% 증가시킨 프로젝트 진행 과정
상품 클릭률 10% 증가시킨 프로젝트 진행 과정

상품 클릭률 10% 증가시킨 프로젝트 진행 과정

배경
홈쇼핑모아의 검색결과는 크게 2개의 상품 그룹으로 구성돼 있다.
1. TV에 방영한 홈쇼핑사 상품만으로 구성된 그룹
:편성 시간 순 가로 스와이프 방식으로 노출
2. TV 방영 상관없이 홈쇼핑사에서 판매하는 상품 + 오픈마켓 상품
:인기 순 세로 무한 스크롤 방식으로 노출

검색결과 개선 전 화면
검색결과 개선 전 화면

문제 인지
홈쇼핑모아의 검색결과는 홈쇼핑 이용자들에게 필수적인 정보를 제공하고 있는가? ‘TV에서 방영한 상품’ 그룹은 편성 정보는 있지만 18개 홈쇼핑 및 T커머스 채널의 상품 중 어떤 상품이 인기 있는지 각 상품별 가격, 사은품, 구성품 등의 비교가 어려웠다.

데이터 확인
‘TV에서 방영한 상품’ 그룹의 클릭률과 클릭 비중이 상단 영역이 가진 장점만큼 나와 주지 않았다.

원인 분석
1번 상품 그룹은 TV 홈쇼핑에서 방영한 상품들을 편성시간 순으로 편성 정보만 제공하고 있다. 편성 시간 순 나열은 아래와 같이 아쉬운 점을 포함하고 있었다.

편성정보만 노출될 경우
1. 구매 불가 상품 노출: 방송 중에만 구매 가능 상품, 품절 상품 등도 편성 순서대로 노출
2. 상품 중복 노출: 1개 상품이 여러 번 편성되거나 같은 상품이 여러 쇼핑사에서 판매되는 경우에도 편성 순서대로 노출
3. 인기상품 확인 불가: 편성 시간에 대한 정보 외에 어떤 상품이 인기가 있는지 알 수 없음

즉, ‘TV에서 방영한 상품’ 영역은 검색결과 최상단이라는 가장 좋은 위치에서 편성표 검색 외에는 사용자의 클릭을 유도할 수 있는 장치가 부족했다.

가설 설정
구매 불가 상품, 중복 상품 등이 노출되는 단순 편성정보를 넘어 사용자가 다양한 상품을 비교하고 선택하는데 용이한 검색결과를 제공해야 한다. 즉, TV방영 상품을 인기 순으로 노출하고, 동일한 상품들은 하나의 그룹으로 묶어서 쇼핑사별로 구성품, 사은품, 가격 등을 비교할 수 있도록 하면 ‘TV에서 방영한 상품’ 그룹의 클릭률이 오를 것이다.

검증 방안
검색팀은 가설 합의, 구현 방법 논의, 검증 계획 등의 과정에서 BE, FE, PM, KM 모두가 참여한다. 기획 의도와 그에 맞는 최소화된 기능 구현 방법 등을 자유롭게 논의한다. 서로의 업무 영역을 따지기보다 목표 달성을 우선적으로 고민한다. 서로 간의 업무를 빠르게 이해하고 공감대를 형성한다.

검증을 하기 위해서는 아래 3가지가 필요했다.

1. 동일상품 분류 로직 개발(가격비교엔진): 구성, 사은품만 다른 동일 상품을 중복 없이 노출하기 위해
2. UI/UX 변화 : 편성 순 기능을 유지하면서 어떻게 인기순으로 노출할 것인지
3. 랭킹 로직 : 인기순의 기준과 점수화를 어떻게 할 것인지

3가지 모두 쉬운 일이 아니었다. 1번 동일상품 분류를 위해서는 텍스트·이미지 유사도에 따른 자동 분류 모델을 개발하거나 수작업으로 분류했어야 했다. 다행히 유사한 기능을 개발한 이력으로 빠르게 구현해볼 수 있었다. 하지만 품질이 높지 않았다. 제대로 만들기 위해선 많은 시간과 노력이 필요했다. 검색팀은 검증기간 동안 가설의 유효성을 판단할 수 있을 정도의 수준을 목표로 품질을 높였다.

3번의 랭킹 로직 역시 홈쇼핑 상품의 특수성을 반영한 랭킹 스크립트를 만들어 내려면 꽤 많은 시간의 연구와 개발이 필요하다. 이번에도 검증 기간에만 사용할 수 있도록 간소화된 랭킹 로직을 적용했다. 2번 역시 만만치 않았다. 아무리 검증기간에 A/B 테스트로 일부 사용자에게만 변화된 화면을 보여준다고 하더라도 사용자에겐 불편할 수 있었다. 화면상의 큰 변화가 낯설 것이고 학습하는데 드는 시간이 필요할 것 이다. 그 뿐 아니라 결과가 안 좋아서 화면 복구 후 또 다른 새로운 화면을 봐야 한다면 사용자에게는 큰 스트레스와 혼란을 가중 시킬 것 이었다.

사용자 혼란을 최소화하면서 검증 목표를 달성하기 위한 방법이 필요했다. 그 해결안으로 인기순으로 정렬한 ‘TV에서 방영한 상품’ 그룹 화면을 독립적으로 만들고 원하는 사용자들만 체험할 수 있는 통로를 제공했다.

위에서 언급한 3가지 주요 업무는 사실 하나하나가 큰 과제로 상당기간의 기획과 개발이 필요한 과정이었다. 검색팀은 3가지 주요 업무를 모두 완벽하게 구현하고 서비스에 적용하기보다 위와 같이 가설의 검증 용도로 최소 기능을 구현했다. 우리가 세운 가설이 틀릴 수도 있는데 잘될 것이라는 희망만 가지고 시간과 노력을 쏟을 순 없었다.

배너를 클릭하면 인기순 정렬 화면으로 진입 가능하며, 2번과 3번이 적용된다.
배너를 클릭하면 인기순 정렬 화면으로 진입 가능하며, 2번과 3번이 적용된다.

첫 번째 검증 테스트
1차 테스트는 위의 화면과 같이 화면 내 최소한의 변화만 적용했다. 사용자의 검색어에 해당하는 인기상품을 볼 수 있는 배너를 제공했다. A/B 테스트로 인기상품을 볼 수 있는 배너가 노출되는 그룹과 그렇지 않은 그룹을 비교했다. 주요 목적과 검증 지표는 아래와 같았다.

- 테스트 목적: 방송 상품을 인기순으로 제공하는 경우의 반응 확인(사용자의 니즈가 있는지 검증)
- 주요 지표: 진입 대비 클릭률
- 테스트 기간: 약 2주

동일한 상품이 여러 번 편성되거나 다른 쇼핑사에도 판매하는 경우 위와 같이 정보 요약 제공되며, 1번이 적용됐다.
동일한 상품이 여러 번 편성되거나 다른 쇼핑사에도 판매하는 경우 위와 같이 정보 요약 제공되며, 1번이 적용됐다.

검증 결과
인기 순 정렬을 제공한 화면 진입 대비 상품 클릭률이 약 107%가 나왔다. 기존 화면에서의 유사한 편성 순 상품 정렬과 지표를 비교해도 약 9% 이상 클릭률이 상승했다.

추가적으로 인기 순 상품 정렬에서는 상세페이지 내 구매 버튼 클릭률도 약 10% 이상 높았다. 테스트 결과를 통해 ‘TV에서 방영한 상품’을 인기순으로 제공하는 것이 유효하다는 것을 알 수 있었다. 하지만 아쉬운 결과도 포함돼 있었다.

1차 테스트 당시 검색결과 화면
1차 테스트 당시 검색결과 화면

아쉬운 결과

테스트 결과가 항상 모든 점에서 좋기를 바라지만 더 냉철하게 데이터를 분석하지 않으면 이유도 모른채 더 큰 실패를 마주하게 된다. 인기순 상품 정렬 페이지로 진입하는 배너 버튼 클릭률 자체가 굉장히 낮았다. 배너 버튼도 테스트 그룹에만 노출되었는데 그 중에서도 아주 일부 사용자만이 검증 지표에 영향을 준 것이다. 소수 사용자의 반응으로 전체 이용자의 현황을 파악할 수 있을까? 라는 의문이 들었다.

배너버튼 클릭률이 낮은 이유를 아래와 같이 예상해보았다.

-친절하게 안내문을 작성해도 어떤 화면이 나올지 예상하기가 어려워 클릭하지 않았을 것이다.
-배너의 형태와 위치가 너무나 익숙한 광고의 모습이어서 클릭하지 않았을 것이다.
-사용자들은 ‘TV에서 방영한 상품’의 인기순 제공을 원치 않는다.

결과적으로 상품 클릭률은 높았지만 진입율 자체가 낮아 가설을 완벽하게 검증했다고 보기 어려웠다. 가설을 검증하기 위한 화면과 기능의 접근성이 너무 낮으면 아무리 수치가 좋아도 확신하기 어렵다. 검색팀은 1차 테스트 결과를 학습하고 2차 테스트 계획을 세우기 시작했다. 버즈니 검색팀 고민의 결과와 이후 진행 과정은 다음 글에서 공유하겠다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지