생성적 검색을 활용한 추천 시스템

Recommender Systems with Generative Retrieval

May 8, 2023

저자: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

초록

현대의 추천 시스템은 일반적으로 두 단계로 구성된 대규모 검색 모델을 활용합니다. 첫 번째 단계에서는 쿼리와 후보 항목을 동일한 공간에 임베딩하기 위해 듀얼 인코더 모델을 학습시키고, 두 번째 단계에서는 주어진 쿼리 임베딩에 대해 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 검색을 수행하여 상위 후보 항목을 선택합니다. 본 논문에서는 이러한 두 단계 방식을 대체할 새로운 단일 단계 패러다임을 제안합니다. 이는 생성적 검색 모델로, 한 단계에서 목표 후보 항목의 식별자를 자동 회귀적으로 디코딩합니다. 이를 위해 각 항목에 무작위로 생성된 원자적 ID를 할당하는 대신, 각 항목의 고유 식별자 역할을 하는 의미론적으로 의미 있는 코드워드 튜플인 Semantic ID를 생성합니다. 이러한 코드워드를 생성하기 위해 RQ-VAE라는 계층적 방법을 사용합니다. 모든 항목에 대한 Semantic ID를 생성한 후, Transformer 기반의 시퀀스-투-시퀀스 모델을 학습시켜 다음 항목의 Semantic ID를 예측합니다. 이 모델은 코드워드 튜플을 자동 회귀 방식으로 직접 예측하므로 생성적 검색 모델로 간주될 수 있습니다. 우리는 이러한 새로운 패러다임으로 학습된 추천 시스템이 Amazon 데이터셋에서 현재 최첨단(SOTA) 모델들이 달성한 결과를 개선함을 보여줍니다. 또한, 계층적 Semantic ID와 결합된 시퀀스-투-시퀀스 모델이 더 나은 일반화를 제공함으로써, 추천을 위한 콜드 스타트 항목의 검색 성능을 향상시킴을 입증합니다.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.