Identifiants sémantiques pour la recherche générative et la recommandation conjointes

Semantic IDs for Joint Generative Search and Recommendation

August 14, 2025

papers.authors: Gustavo Penha, Edoardo D'Amico, Marco De Nadai, Enrico Palumbo, Alexandre Tamborrino, Ali Vardasbi, Max Lefarov, Shawn Lin, Timothy Heath, Francesco Fabbri, Hugues Bouchard

cs.AI

papers.abstract

Les modèles génératifs alimentés par les grands modèles de langage (LLM) émergent comme une solution unifiée pour alimenter à la fois les tâches de recommandation et de recherche. Un choix de conception clé dans ces modèles est la manière de représenter les éléments, traditionnellement par des identifiants uniques (ID) et plus récemment avec des ID sémantiques composés de codes discrets, obtenus à partir d'embeddings. Bien que les modèles d'embedding spécifiques à une tâche puissent améliorer les performances pour des tâches individuelles, ils peuvent ne pas bien généraliser dans un cadre conjoint. Dans cet article, nous explorons comment construire des ID sémantiques qui performent bien à la fois en recherche et en recommandation lors de l'utilisation d'un modèle unifié. Nous comparons une gamme de stratégies pour construire des ID sémantiques, en examinant les approches spécifiques à une tâche et transversales, et également si chaque tâche devrait avoir ses propres tokens d'ID sémantiques dans un modèle génératif unifié de recherche et de recommandation. Nos résultats montrent que l'utilisation d'un modèle bi-encodeur affiné sur les tâches de recherche et de recommandation pour obtenir des embeddings d'éléments, suivi de la construction d'un espace d'ID sémantique unifié, offre un compromis efficace, permettant des performances solides dans les deux tâches. Nous espérons que ces résultats susciteront des travaux de suivi sur des schémas d'ID généralisables et sémantiquement fondés, et éclaireront la prochaine vague d'architectures génératives unifiées de recommandation.

English

Generative models powered by Large Language Models (LLMs) are emerging as a unified solution for powering both recommendation and search tasks. A key design choice in these models is how to represent items, traditionally through unique identifiers (IDs) and more recently with Semantic IDs composed of discrete codes, obtained from embeddings. While task-specific embedding models can improve performance for individual tasks, they may not generalize well in a joint setting. In this paper, we explore how to construct Semantic IDs that perform well both in search and recommendation when using a unified model. We compare a range of strategies to construct Semantic IDs, looking into task-specific and cross-tasks approaches, and also whether each task should have its own semantic ID tokens in a joint search and recommendation generative model. Our results show that using a bi-encoder model fine-tuned on both search and recommendation tasks to obtain item embeddings, followed by the construction of a unified Semantic ID space provides an effective trade-off, enabling strong performance in both tasks. We hope these findings spark follow-up work on generalisable, semantically grounded ID schemes and inform the next wave of unified generative recommender architectures.