Sistemi di Raccomandazione con Recupero Generativo

Recommender Systems with Generative Retrieval

May 8, 2023

Autori: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Abstract

I moderni sistemi di raccomandazione sfruttano modelli di recupero su larga scala composti da due fasi: l'addestramento di un modello dual-encoder per incorporare query e candidati nello stesso spazio, seguito da una ricerca Approximate Nearest Neighbor (ANN) per selezionare i candidati migliori dato l'incorporamento di una query. In questo articolo, proponiamo un nuovo paradigma a singola fase: un modello di recupero generativo che decodifica in modo autoregressivo gli identificatori per i candidati target in una sola fase. Per fare ciò, invece di assegnare ID atomici generati casualmente a ciascun elemento, generiamo Semantic ID: una tupla di codeword semanticamente significativa per ciascun elemento che funge da identificatore univoco. Utilizziamo un metodo gerarchico chiamato RQ-VAE per generare queste codeword. Una volta ottenuti i Semantic ID per tutti gli elementi, un modello sequence-to-sequence basato su Transformer viene addestrato per prevedere il Semantic ID dell'elemento successivo. Poiché questo modello prevede direttamente in modo autoregressivo la tupla di codeword che identifica l'elemento successivo, può essere considerato un modello di recupero generativo. Mostriamo che il nostro sistema di raccomandazione addestrato con questo nuovo paradigma migliora i risultati ottenuti dai modelli SOTA attuali sul dataset Amazon. Inoltre, dimostriamo che il modello sequence-to-sequence accoppiato con Semantic ID gerarchici offre una migliore generalizzazione e quindi migliora il recupero di elementi cold-start per le raccomandazioni.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.