Sistemas de Recomendación con Recuperación Generativa

Recommender Systems with Generative Retrieval

May 8, 2023

Autores: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Resumen

Los sistemas de recomendación modernos utilizan modelos de recuperación a gran escala que constan de dos etapas: entrenar un modelo de doble codificador para incrustar consultas y candidatos en el mismo espacio, seguido de una búsqueda de vecinos más cercanos aproximada (ANN, por sus siglas en inglés) para seleccionar los mejores candidatos dada la incrustación de una consulta. En este artículo, proponemos un nuevo paradigma de una sola etapa: un modelo de recuperación generativo que decodifica de manera autoregresiva los identificadores de los candidatos objetivo en una sola fase. Para lograr esto, en lugar de asignar identificadores atómicos generados aleatoriamente a cada ítem, generamos IDs semánticos: una tupla de códigos con significado semántico para cada ítem que sirve como su identificador único. Utilizamos un método jerárquico llamado RQ-VAE para generar estos códigos. Una vez que tenemos los IDs semánticos para todos los ítems, entrenamos un modelo secuencia a secuencia basado en Transformer para predecir el ID semántico del siguiente ítem. Dado que este modelo predice la tupla de códigos que identifica el siguiente ítem directamente de manera autoregresiva, puede considerarse un modelo de recuperación generativo. Demostramos que nuestro sistema de recomendación entrenado bajo este nuevo paradigma mejora los resultados obtenidos por los modelos actuales de última generación (SOTA) en el conjunto de datos de Amazon. Además, mostramos que el modelo secuencia a secuencia combinado con IDs semánticos jerárquicos ofrece una mejor generalización y, por lo tanto, mejora la recuperación de ítems de inicio en frío para recomendaciones.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.