Sistemas de Recomendação com Recuperação Generativa

Recommender Systems with Generative Retrieval

May 8, 2023

Autores: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Resumo

Os sistemas modernos de recomendação utilizam modelos de recuperação em larga escala que consistem em duas etapas: o treinamento de um modelo de codificador duplo para incorporar consultas e candidatos no mesmo espaço, seguido por uma busca de vizinhos mais próximos aproximada (ANN, do inglês Approximate Nearest Neighbor) para selecionar os principais candidatos com base na incorporação de uma consulta. Neste artigo, propomos um novo paradigma de estágio único: um modelo de recuperação generativo que decodifica de forma autoregressiva os identificadores dos candidatos alvo em uma única fase. Para isso, em vez de atribuir IDs atômicos gerados aleatoriamente a cada item, geramos IDs Semânticos: uma tupla de palavras-código semanticamente significativas para cada item que serve como seu identificador único. Utilizamos um método hierárquico chamado RQ-VAE para gerar essas palavras-código. Uma vez que temos os IDs Semânticos para todos os itens, um modelo sequência-para-sequência baseado em Transformer é treinado para prever o ID Semântico do próximo item. Como esse modelo prevê a tupla de palavras-código que identifica o próximo item diretamente de forma autoregressiva, ele pode ser considerado um modelo de recuperação generativo. Mostramos que nosso sistema de recomendação treinado nesse novo paradigma melhora os resultados alcançados pelos modelos SOTA atuais no conjunto de dados da Amazon. Além disso, demonstramos que o modelo sequência-para-sequência combinado com IDs Semânticos hierárquicos oferece melhor generalização e, portanto, melhora a recuperação de itens de início frio para recomendações.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.