共同生成検索とレコメンデーションのためのセマンティックID

要旨

大規模言語モデル（LLMs）を基盤とする生成モデルは、推薦と検索の両タスクを統合的に解決する手法として注目を集めています。これらのモデルにおける重要な設計上の選択肢は、アイテムをどのように表現するかであり、従来は一意の識別子（ID）を用いていましたが、最近では埋め込みから得られる離散コードで構成されるセマンティックIDが採用されています。タスク固有の埋め込みモデルは個々のタスクの性能を向上させることができますが、統合的な設定では汎化性能が低下する可能性があります。本論文では、統合モデルを使用する際に、検索と推薦の両方で良好な性能を発揮するセマンティックIDをどのように構築するかを探求します。セマンティックIDを構築するための様々な戦略を比較し、タスク固有のアプローチとクロスタスクのアプローチ、また、統合的な検索と推薦の生成モデルにおいて各タスクが独自のセマンティックIDトークンを持つべきかどうかを検討します。結果として、検索と推薦の両タスクでファインチューニングされたバイエンコーダモデルを使用してアイテムの埋め込みを取得し、その後、統合されたセマンティックID空間を構築することが、両タスクで強力な性能を発揮する効果的なトレードオフを提供することが示されました。これらの発見が、汎用性のあるセマンティックに基づいたIDスキームに関する追跡研究を刺激し、次世代の統合型生成推薦アーキテクチャの設計に役立つことを期待しています。

English

Generative models powered by Large Language Models (LLMs) are emerging as a unified solution for powering both recommendation and search tasks. A key design choice in these models is how to represent items, traditionally through unique identifiers (IDs) and more recently with Semantic IDs composed of discrete codes, obtained from embeddings. While task-specific embedding models can improve performance for individual tasks, they may not generalize well in a joint setting. In this paper, we explore how to construct Semantic IDs that perform well both in search and recommendation when using a unified model. We compare a range of strategies to construct Semantic IDs, looking into task-specific and cross-tasks approaches, and also whether each task should have its own semantic ID tokens in a joint search and recommendation generative model. Our results show that using a bi-encoder model fine-tuned on both search and recommendation tasks to obtain item embeddings, followed by the construction of a unified Semantic ID space provides an effective trade-off, enabling strong performance in both tasks. We hope these findings spark follow-up work on generalisable, semantically grounded ID schemes and inform the next wave of unified generative recommender architectures.

共同生成検索とレコメンデーションのためのセマンティックID

Semantic IDs for Joint Generative Search and Recommendation

要旨

Support