Systèmes de recommandation avec récupération générative

Recommender Systems with Generative Retrieval

May 8, 2023

Auteurs: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Résumé

Les systèmes de recommandation modernes exploitent des modèles de recherche à grande échelle composés de deux étapes : l'entraînement d'un modèle à double encodeur pour projeter les requêtes et les candidats dans le même espace, suivi d'une recherche de voisins approximatifs (Approximate Nearest Neighbor, ANN) pour sélectionner les meilleurs candidats en fonction de l'embedding d'une requête. Dans cet article, nous proposons un nouveau paradigme en une seule étape : un modèle de récupération génératif qui décode de manière autoregressive les identifiants des candidats cibles en une seule phase. Pour ce faire, au lieu d'attribuer des identifiants atomiques générés aléatoirement à chaque élément, nous générons des identifiants sémantiques (Semantic IDs) : un tuple de mots de code sémantiquement significatif pour chaque élément, qui sert d'identifiant unique. Nous utilisons une méthode hiérarchique appelée RQ-VAE pour générer ces mots de code. Une fois les identifiants sémantiques générés pour tous les éléments, un modèle séquence-à-séquence basé sur un Transformer est entraîné pour prédire l'identifiant sémantique de l'élément suivant. Comme ce modèle prédit directement le tuple de mots de code identifiant l'élément suivant de manière autoregressive, il peut être considéré comme un modèle de récupération génératif. Nous montrons que notre système de recommandation entraîné selon ce nouveau paradigme améliore les résultats obtenus par les modèles actuels de l'état de l'art (SOTA) sur le jeu de données Amazon. De plus, nous démontrons que le modèle séquence-à-séquence couplé avec des identifiants sémantiques hiérarchiques offre une meilleure généralisation et améliore ainsi la récupération des éléments à démarrage froid (cold-start) pour les recommandations.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.