생성적 검색과 추천을 위한 시맨틱 ID

Semantic IDs for Joint Generative Search and Recommendation

August 14, 2025

저자: Gustavo Penha, Edoardo D'Amico, Marco De Nadai, Enrico Palumbo, Alexandre Tamborrino, Ali Vardasbi, Max Lefarov, Shawn Lin, Timothy Heath, Francesco Fabbri, Hugues Bouchard

cs.AI

초록

대형 언어 모델(LLMs)로 구동되는 생성 모델은 추천 및 검색 작업을 모두 지원하는 통합 솔루션으로 부상하고 있습니다. 이러한 모델에서의 주요 설계 선택은 아이템을 어떻게 표현할지에 관한 것으로, 전통적으로는 고유 식별자(ID)를 사용했으며 최근에는 임베딩에서 얻은 이산 코드로 구성된 시맨틱 ID(Semantic ID)를 사용하는 추세입니다. 작업별 임베딩 모델은 개별 작업의 성능을 향상시킬 수 있지만, 통합 환경에서는 잘 일반화되지 않을 수 있습니다. 본 논문에서는 통합 모델을 사용할 때 검색과 추천 모두에서 잘 작동하는 시맨틱 ID를 구축하는 방법을 탐구합니다. 우리는 시맨틱 ID를 구성하기 위한 다양한 전략을 비교하며, 작업별 및 작업 간 접근 방식을 살펴보고, 통합 검색 및 추천 생성 모델에서 각 작업이 자체 시맨틱 ID 토큰을 가져야 하는지 여부도 검토합니다. 우리의 실험 결과, 검색 및 추천 작업 모두에 대해 미세 조정된 바이-인코더 모델을 사용하여 아이템 임베딩을 얻은 후 통합 시맨틱 ID 공간을 구축하는 것이 두 작업 모두에서 강력한 성능을 발휘하는 효과적인 절충안임을 보여줍니다. 이러한 연구 결과가 일반화 가능하고 의미론적으로 기반을 둔 ID 체계에 대한 후속 연구를 촉발하고, 통합 생성 추천 아키텍처의 다음 물결에 정보를 제공하기를 바랍니다.

English

Generative models powered by Large Language Models (LLMs) are emerging as a unified solution for powering both recommendation and search tasks. A key design choice in these models is how to represent items, traditionally through unique identifiers (IDs) and more recently with Semantic IDs composed of discrete codes, obtained from embeddings. While task-specific embedding models can improve performance for individual tasks, they may not generalize well in a joint setting. In this paper, we explore how to construct Semantic IDs that perform well both in search and recommendation when using a unified model. We compare a range of strategies to construct Semantic IDs, looking into task-specific and cross-tasks approaches, and also whether each task should have its own semantic ID tokens in a joint search and recommendation generative model. Our results show that using a bi-encoder model fine-tuned on both search and recommendation tasks to obtain item embeddings, followed by the construction of a unified Semantic ID space provides an effective trade-off, enabling strong performance in both tasks. We hope these findings spark follow-up work on generalisable, semantically grounded ID schemes and inform the next wave of unified generative recommender architectures.