Aanbevelingssystemen met generatief ophalen

Recommender Systems with Generative Retrieval

May 8, 2023

Auteurs: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Samenvatting

Moderne aanbevelingssystemen maken gebruik van grootschalige retrievalmodellen die bestaan uit twee fasen: het trainen van een dual-encoder-model om queries en kandidaten in dezelfde ruimte in te bedden, gevolgd door een Approximate Nearest Neighbor (ANN)-zoekactie om de beste kandidaten te selecteren op basis van de inbedding van een query. In dit artikel stellen we een nieuw enkelstaps paradigma voor: een generatief retrievalmodel dat op autoregressieve wijze de identificatoren voor de doelkandidaten decodeert in één fase. Hiervoor genereren we, in plaats van willekeurig gegenereerde atomische ID's aan elk item toe te kennen, Semantische ID's: een semantisch betekenisvolle tuple van codewoorden voor elk item dat als unieke identificator dient. We gebruiken een hiërarchische methode genaamd RQ-VAE om deze codewoorden te genereren. Zodra we de Semantische ID's voor alle items hebben, wordt een Transformer-gebaseerd sequence-to-sequence-model getraind om de Semantische ID van het volgende item te voorspellen. Omdat dit model de tuple van codewoorden die het volgende item identificeren direct op autoregressieve wijze voorspelt, kan het worden beschouwd als een generatief retrievalmodel. We tonen aan dat ons aanbevelingssysteem dat volgens dit nieuwe paradigma is getraind, de resultaten verbetert die door huidige state-of-the-art-modellen op de Amazon-dataset worden behaald. Bovendien demonstreren we dat het sequence-to-sequence-model in combinatie met hiërarchische Semantische ID's betere generalisatie biedt en daardoor de retrievals van cold-start-items voor aanbevelingen verbetert.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.