E-Commerce 추천 시스템의 변화_ 쿠팡 중심 (상품 추천에서 실시간 개인화로)

산업통상자원부의 통계에 따르면 우리나라 이커머스 업계의 연간 시장규모는 지난해 100조 원을 돌파하며, 2017년 대비 약 20%의 성장하는 등 관련 시장은 점점 진화해 가고 있습니다.

이커머스 구축 및 컨설팅과 관련된 프로젝트를 수행할 경우 트렌드 변화에 맞춰 끊임없이 변화해 나가고 있는 쿠팡의 서비스는 좋은 레퍼런스가 되어 왔습니다. 물론 최근 무섭게 기존 시장을 위협하며 새로운 서비스로 무장한 중소 이커머스 업체들도 관심의 대상이 되고 있습니다. 대표적으로 무신사는 상품기획자의 경쟁력을 바탕으로 패션 큐레이션 서비스를 제공하여 마니아층을 형성하고 있고, 마켓컬리는 온라인 신선식품 시장의 강자로 군림하고 있습니다.

필자는 국내 다양한 마켓이 생성되어 있지만 사용자가 원하는 상품을 어떻게 추천하고 사용자가 그것을 얼마나 수용하여 구매로 이어지는지와 정확도를 높이기 위해 어떠한 노력을 하고 있는지 Back-end가 늘 궁금했습니다. 사용자를 100% 충족시킬 수 없기 때문에 국내외 이커머스에서는 어떻게 변화하고 어떠한 노력들을 하고 있는지 있는지를 간단히 살펴보기로 했습니다.

* Source : 아마존, 쿠팡

글로벌 온라인 마켓으로는 아마존 그리고 국내에서는 쿠팡의 메인 화면을 비교해보았을 때
아마존은 메인 자체가 곧 상품의 무한 추천 영역으로 활용되고 있었고, 쿠팡은 언젠가부터 카테고리 별 추천하는 방식으로 아마존과 유사한 흐름을 따르고 있었습니다.

* Source : 아마존, 쿠팡

상품 상세 페이지에서도 점점 다양한 영역에서 상품을 추천하고 있고, 아마존과 쿠팡 모두 Collaborative Filtering, 즉 과거 데이터로부터의 ‘유사도’ 패턴을 기반으로 미래의 선호를 예측하는 협업필터링 방식으로 추천하는 것으로 볼 수 있었습니다. 또한, 여러 계정으로 구매를 해보고 장바구니에 담았다 빼보며 다양한 케이스를 테스트하다 보면 실시간으로 개인화 추천도 더해지는 것을 확인해 볼 수 있습니다. 하지만 이러한 테스트 과정으로는 정확한 추천 알고리즘이나 시스템을 이해하고 분석하기엔 한계가 있었습니다.

마침, 네이버에서 매년 주최하는 DEVIEW 컨퍼런스에 쿠팡 추천팀의 강연이 있어 그들의 변천사와 시스템을 이해할 수 있는 좋은 기회가 되어 함께 공유드리고자 합니다.

초기 쿠팡의 추천 모델은 사용자가 구매한 상품이 있다면 다른 고객이 함께 구매한 상품 및 같은 카테고리의 대체 상품을 추천하는 단순 시스템으로 사용자 데이터가 생성될 때만 상품정보에 접근 가능한 시스템이었습니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

다시 말해 우리가 상품을 확인하는 중에 ‘다른 고객이 함께 본 상품’과 같은 대체재와 ‘ 다른 고객이 함께 구매한 상품’과 같은 보완재를 추천해주고 있었습니다. 이러한 시스템의 단점 및 한계는 다음과 같습니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

과거 추천 시스템의 단점 및 한계

– 추천 모델 변경에 따라 필터의 세부 조정이 어려움
(데이터 배치값을 변경하고, 파이프라인을 처음부터 재부팅해야 함)
– 추가 요청사항을 처리하기 어려움
– 완성 전까지 결과를 알 수 없음
– 개발 시간이 오래 걸림
→ 따라서 점진적인 개선이 힘들고 힘들게 개발한 모델의 재활용이 어려운 시스템으로 서비스가 모델에 너무 의존적이었다.

그래서 쿠팡이 결심한 시스템의 변화는 다음과 같습니다.

1. 추천 모델과 서비스를 분리시킬 것
2. 상품 정보나 유저 정보를 서빙 타임에 접근 가능할 것
3. 필터, 부스팅 등의 변경이 쉽고 빠를 것

그 변화의 중심은 추천 시스템과 검색엔진의 분리가 아닌 검색엔진을 추천 시스템으로 활용한 플랫폼으로 보다 쉽고 빠르게 추천할 수 있다는 것이 핵심이었습니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

‘Feature’를 연관성 Feature와 상품 자체의 Feature로 생성하여, 상품의 특징을 잘 구분하고, 서비스 목적에 맞게 다양한 피처 별 가중치를 둬 추천모델 결과를 제공하는 것입니다. 검색엔진의 시스템은 우리가 잘 알 고 있는 것처럼 쿼리> 후보찾기> 랭킹이라는 단순한 구조로 검색어가 입력되면 가장 잘 매칭 되는 순으로 결과 값을 제공하는 방식입니다. 다시 말해 서비스 컨텍스트와 관련된 상품을 찾아내고 그 조건에 따라 필터 적용 후 점수에 따라 정렬하는 방식이라고 말할 수 있습니다. 또한 여러 모델 별 서로 다른 부여된 가중치와 실시간으로로 집계되는 다른 여러 시그널들을 종합하여 상품의 노출 최종 순위를 결정하게 됩니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

예를 들어 유저가 냄비를 장바구니에 담았을 때 초기 추천모델에서는 다른 고객이 같이 산 상품이 추천되었습니다. 하지만 현재의 시스템으로는 함께 사면 무료배송이 가능한 가격대의 고기, 야채, 생선 등의 식료품을 추천됩니다. 여기서의 서비스는 “ 냄비와 함께 살 할인 식품” 이라고 정의하고, 이에 따라 각종 피처들을 조합했을 때의 결과입니다. 모델과 서비스를 분리함으로써 서비스는 있는 피처들을 어떻게 쓸지를 고민하고, 모델은 좋은 피처를 만들기 위해 노력하여 추천의 정확도를 높이고 있는 샘입니다.

유저의 세그멘트 정보를 더해 개인화도 반영하고 있습니다. 실제 가입 DB로부터 전달받는 정보는 법적으로 한계가 있으나, 암호화된 유저 ID를 사용자 정보로 만들어 구매이력 및 최근 본 상품, 검색한 쿼리 등을 분석하며, 이러한 분석 DB를 추적하여 유저가 어떤 세그먼트에 속하는지를 판단하여 상품과의 연관성을 높여갑니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

하나의 추천 예시로 고객이 쿠팡에서 신선식품을 배달하는 ‘로켓프레시’는 안드로이드 유저들과 달리 IOS 유저들의 구매가 적은 편이라는 통계값을 기반으로 추천 결과에 IOS 유저들은 ‘로켓프레시’ 상품의 추천을 최소화한다고 합니다.

새로운 추천 서비스를 도입하려면 초기 시스템에서는 대략 한 달 정도의 시간이 소요되었다면, 지금의 플랫폼에서는 서비스 정의에서 AB테스트까지 단 하루만 끝난다고 말했습니다. 테스트 과정을 통해 빠르게 검증하고 유저 반응에 따라 새로운 추가 요구사항이 생기거나 서비스 정의가 바뀔 땐 지속적으로 쿼리를 튜닝할 수 있게 되는 것입니다. 이러한 시스템은 피처조합과 가중치에 따라 새로운 서비스를 만들 수 있고, 필터로 새로운 추천 서비스를 만들 수도 있다. 또한 검색 결과를 필요에 따라 새롭게 정렬할 수 있어 빠른 서비스 개발이 가능합니다.

* Source : DEVIEW2019_ 쿠팡 추천 시스템 변천사

물론, 최초 가입의 스타터 계정으로 데이터가 없는 경우와 하나의 계정으로 가족의 여러 상품을 구매하는 경우 등 다양한 케이스에 대해 지속적인 분석과 테스트의 과정이 필요하다고 했습니다.
이런 추천 시스템의 변화로 지난 1년 동안 추천영역의 수는 X7 배가 증가했고, 기밀사항으로 정확한 수치는 밝히지 않았지만 추천노출/클릭/구매 또한 폭발적으로 증가했다고 밝혔습니다.

앞서 말한 것과 같이 사용자가 지금 진짜 원하는 상품을 알아내기는 쉽지 않습니다. 쿠팡추첨팀에서도 동일한 고민을 하고 있고 추천의 편향성도 인지하고 있었으며, 그래서 피처 개발을 어떻게 하는지가 중요하다고 말했습니다. 그들도 다양한 업체들의 사례들을 참고하거나 리포트를 통해 인사이트를 얻어 점진적으로 바꿔 나가고 있다고 전했습니다.

이커머스의 트렌드는 빠르게 변하고 사용자의 NEEDS 또한 계속해서 바뀌고 있는 시대의 흐름에 단일 모델에 의존한 추천 시스템은 뒤쳐질 수밖에 없습니다. 신규 생성되는 마켓 및 기존의 마켓들도 빠른 변화에 대응할 수 있는 추천 플랫폼의 구축은 더 이상 옵션이 아닌 필수가 되어 가고 있습니다. 이제, 추천 상품은 탐색과정에서 거슬리는 Push 상품이 아니라, 사용자로부터 매력적인 Pick을 받아 구매로 연결시킬 수 있는 경험이며, 이커머스를 사용하는 한 명의 고객으로서 개인화 추천의 정확도를 높여가는 그들의 챌린지가 계속되길 기대하며 이 글을 마칩니다.

– 가치UX그룹 박현주

* 메인 이미지 출처 (Source : https://deview.kr/2019)
* 발표자료 : 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)오성민 / Coupang / Recommendation