Рекомендательные системы с генеративным поиском

Recommender Systems with Generative Retrieval

May 8, 2023

Авторы: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan, Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost, Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy

cs.AI

Аннотация

Современные системы рекомендаций используют модели крупномасштабного поиска, состоящие из двух этапов: обучение модели с двойным кодированием для встраивания запросов и кандидатов в одно и то же пространство, за которым следует поиск приближенных ближайших соседей (Approximate Nearest Neighbor, ANN) для выбора лучших кандидатов на основе встраивания запроса. В данной статье мы предлагаем новую одноэтапную парадигму: генеративную модель поиска, которая авторегрессивно декодирует идентификаторы целевых кандидатов в одной фазе. Для этого вместо присвоения случайно сгенерированных атомарных идентификаторов каждому элементу мы создаем семантические идентификаторы (Semantic IDs): семантически значимый кортеж кодовых слов для каждого элемента, который служит его уникальным идентификатором. Мы используем иерархический метод под названием RQ-VAE для генерации этих кодовых слов. После получения семантических идентификаторов для всех элементов обучается модель последовательностей на основе Transformer, которая предсказывает семантический идентификатор следующего элемента. Поскольку эта модель предсказывает кортеж кодовых слов, идентифицирующих следующий элемент, непосредственно авторегрессивным способом, она может рассматриваться как генеративная модель поиска. Мы показываем, что наша система рекомендаций, обученная в этой новой парадигме, улучшает результаты, достигнутые современными моделями SOTA на наборе данных Amazon. Кроме того, мы демонстрируем, что модель последовательностей в сочетании с иерархическими семантическими идентификаторами обеспечивает лучшее обобщение и, следовательно, улучшает поиск элементов с холодным стартом для рекомендаций.

English

Modern recommender systems leverage large-scale retrieval models consisting of two stages: training a dual-encoder model to embed queries and candidates in the same space, followed by an Approximate Nearest Neighbor (ANN) search to select top candidates given a query's embedding. In this paper, we propose a new single-stage paradigm: a generative retrieval model which autoregressively decodes the identifiers for the target candidates in one phase. To do this, instead of assigning randomly generated atomic IDs to each item, we generate Semantic IDs: a semantically meaningful tuple of codewords for each item that serves as its unique identifier. We use a hierarchical method called RQ-VAE to generate these codewords. Once we have the Semantic IDs for all the items, a Transformer based sequence-to-sequence model is trained to predict the Semantic ID of the next item. Since this model predicts the tuple of codewords identifying the next item directly in an autoregressive manner, it can be considered a generative retrieval model. We show that our recommender system trained in this new paradigm improves the results achieved by current SOTA models on the Amazon dataset. Moreover, we demonstrate that the sequence-to-sequence model coupled with hierarchical Semantic IDs offers better generalization and hence improves retrieval of cold-start items for recommendations.