IDs Semânticos para Busca Generativa e Recomendação Conjunta

Semantic IDs for Joint Generative Search and Recommendation

August 14, 2025

Autores: Gustavo Penha, Edoardo D'Amico, Marco De Nadai, Enrico Palumbo, Alexandre Tamborrino, Ali Vardasbi, Max Lefarov, Shawn Lin, Timothy Heath, Francesco Fabbri, Hugues Bouchard

cs.AI

Resumo

Modelos generativos impulsionados por Large Language Models (LLMs) estão surgindo como uma solução unificada para alimentar tanto tarefas de recomendação quanto de busca. Uma escolha de design crucial nesses modelos é como representar os itens, tradicionalmente por meio de identificadores únicos (IDs) e, mais recentemente, com Semantic IDs compostos por códigos discretos, obtidos a partir de embeddings. Embora modelos de embeddings específicos para tarefas possam melhorar o desempenho em tarefas individuais, eles podem não generalizar bem em um cenário conjunto. Neste artigo, exploramos como construir Semantic IDs que funcionem bem tanto em busca quanto em recomendação ao usar um modelo unificado. Comparamos uma variedade de estratégias para construir Semantic IDs, analisando abordagens específicas para tarefas e entre tarefas, e também se cada tarefa deve ter seus próprios tokens de Semantic ID em um modelo generativo unificado de busca e recomendação. Nossos resultados mostram que o uso de um modelo bi-encoder ajustado para ambas as tarefas de busca e recomendação para obter embeddings de itens, seguido pela construção de um espaço unificado de Semantic ID, oferece um equilíbrio eficaz, permitindo um desempenho forte em ambas as tarefas. Esperamos que essas descobertas inspirem trabalhos futuros sobre esquemas de IDs semanticamente fundamentados e generalizáveis, e informem a próxima onda de arquiteturas generativas unificadas de recomendação.

English

Generative models powered by Large Language Models (LLMs) are emerging as a unified solution for powering both recommendation and search tasks. A key design choice in these models is how to represent items, traditionally through unique identifiers (IDs) and more recently with Semantic IDs composed of discrete codes, obtained from embeddings. While task-specific embedding models can improve performance for individual tasks, they may not generalize well in a joint setting. In this paper, we explore how to construct Semantic IDs that perform well both in search and recommendation when using a unified model. We compare a range of strategies to construct Semantic IDs, looking into task-specific and cross-tasks approaches, and also whether each task should have its own semantic ID tokens in a joint search and recommendation generative model. Our results show that using a bi-encoder model fine-tuned on both search and recommendation tasks to obtain item embeddings, followed by the construction of a unified Semantic ID space provides an effective trade-off, enabling strong performance in both tasks. We hope these findings spark follow-up work on generalisable, semantically grounded ID schemes and inform the next wave of unified generative recommender architectures.