Semantische ID's voor Gecombineerde Generatieve Zoek- en Aanbevelingssystemen

Semantic IDs for Joint Generative Search and Recommendation

August 14, 2025

Auteurs: Gustavo Penha, Edoardo D'Amico, Marco De Nadai, Enrico Palumbo, Alexandre Tamborrino, Ali Vardasbi, Max Lefarov, Shawn Lin, Timothy Heath, Francesco Fabbri, Hugues Bouchard

cs.AI

Samenvatting

Generatieve modellen aangedreven door Large Language Models (LLMs) komen naar voren als een geïntegreerde oplossing voor zowel aanbevelings- als zoektaken. Een belangrijk ontwerpkeuze in deze modellen is hoe items worden gerepresenteerd, traditioneel via unieke identificatoren (ID's) en recenter met Semantische ID's bestaande uit discrete codes, verkregen uit embeddings. Hoewel taakspecifieke embeddingmodellen de prestaties voor individuele taken kunnen verbeteren, generaliseren ze mogelijk niet goed in een gezamenlijke setting. In dit artikel onderzoeken we hoe Semantische ID's kunnen worden geconstrueerd die goed presteren in zowel zoek- als aanbevelingstaken bij gebruik van een geïntegreerd model. We vergelijken een reeks strategieën om Semantische ID's te construeren, waarbij we kijken naar taakspecifieke en kruistakenbenaderingen, en ook of elke taak zijn eigen semantische ID-tokens zou moeten hebben in een gezamenlijk zoek- en aanbevelingsgeneratief model. Onze resultaten laten zien dat het gebruik van een bi-encodermodel dat is afgestemd op zowel zoek- als aanbevelingstaken om item-embeddings te verkrijgen, gevolgd door de constructie van een geïntegreerde Semantische ID-ruimte, een effectieve balans biedt die sterke prestaties in beide taken mogelijk maakt. We hopen dat deze bevindingen vervolgonderzoek stimuleren naar generaliseerbare, semantisch onderbouwde ID-schema's en de volgende golf van geïntegreerde generatieve aanbevelingsarchitecturen informeren.

English

Generative models powered by Large Language Models (LLMs) are emerging as a unified solution for powering both recommendation and search tasks. A key design choice in these models is how to represent items, traditionally through unique identifiers (IDs) and more recently with Semantic IDs composed of discrete codes, obtained from embeddings. While task-specific embedding models can improve performance for individual tasks, they may not generalize well in a joint setting. In this paper, we explore how to construct Semantic IDs that perform well both in search and recommendation when using a unified model. We compare a range of strategies to construct Semantic IDs, looking into task-specific and cross-tasks approaches, and also whether each task should have its own semantic ID tokens in a joint search and recommendation generative model. Our results show that using a bi-encoder model fine-tuned on both search and recommendation tasks to obtain item embeddings, followed by the construction of a unified Semantic ID space provides an effective trade-off, enabling strong performance in both tasks. We hope these findings spark follow-up work on generalisable, semantically grounded ID schemes and inform the next wave of unified generative recommender architectures.