Empfehlungssysteme mit generativem Retrieval

Recommender Systems with Generative Retrieval

May 8, 2023

Autoren: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Zusammenfassung

Moderne Empfehlungssysteme nutzen großskalige Retrieval-Modelle, die aus zwei Phasen bestehen: dem Training eines Dual-Encoder-Modells, um Anfragen und Kandidaten in denselben Raum einzubetten, gefolgt von einer Approximate Nearest Neighbor (ANN)-Suche, um die besten Kandidaten basierend auf der Einbettung einer Anfrage auszuwählen. In diesem Artikel schlagen wir ein neues einstufiges Paradigma vor: ein generatives Retrieval-Modell, das die Identifikatoren für die Zielkandidaten in einer Phase autoregressiv dekodiert. Hierbei werden anstelle von zufällig generierten atomaren IDs für jedes Element sogenannte Semantic IDs erzeugt: ein semantisch bedeutungsvolles Tupel von Codewörtern für jedes Element, das als dessen eindeutiger Identifikator dient. Zur Generierung dieser Codewörter verwenden wir eine hierarchische Methode namens RQ-VAE. Sobald die Semantic IDs für alle Elemente vorliegen, wird ein Transformer-basiertes Sequenz-zu-Sequenz-Modell trainiert, um die Semantic ID des nächsten Elements vorherzusagen. Da dieses Modell das Tupel der Codewörter, das das nächste Element identifiziert, direkt auf autoregressive Weise vorhersagt, kann es als generatives Retrieval-Modell betrachtet werden. Wir zeigen, dass unser in diesem neuen Paradigma trainiertes Empfehlungssystem die Ergebnisse aktueller State-of-the-Art-Modelle auf dem Amazon-Datensatz verbessert. Darüber hinaus demonstrieren wir, dass das Sequenz-zu-Sequenz-Modell in Kombination mit hierarchischen Semantic IDs eine bessere Generalisierung bietet und somit das Retrieval von Cold-Start-Elementen für Empfehlungen verbessert.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.