Umdenken bei generativen Empfehlungssystem-Tokenizern: Recsys-spezifische Kodierung und semantische Quantisierung jenseits von LLMs
Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs
February 2, 2026
papers.authors: Yu Liang, Zhongjin Zhang, Yuxuan Zhu, Kerui Zhang, Zhiluohan Guo, Wenhang Zhou, Zonqi Yang, Kangle Wu, Yabo Ni, Anxiang Zeng, Cong Fu, Jianxin Wang, Jiazhi Xia
cs.AI
papers.abstract
Semantic-ID (SID)-basierte Empfehlung ist ein vielversprechendes Paradigma zur Skalierung sequenzieller Empfehlungssysteme. Bisherige Methoden folgen jedoch weitgehend einer semantikzentrierten Pipeline: Item-Embeddings werden aus Foundation Models gelernt und mit generischen Quantisierungsschemata diskretisiert. Dieses Design steht nicht im Einklang mit generativen Empfehlungszielen: Semantische Embeddings sind schwach mit der kollaborativen Vorhersage gekoppelt, und generische Quantisierung ist ineffizient bei der Reduzierung sequenzieller Unsicherheit für die autoregressive Modellierung. Um diese Probleme zu lösen, schlagen wir ReSID vor, ein empfehlungsnatives, prinzipielles SID-Framework, das Representation Learning und Quantisierung aus der Perspektive der Informationserhaltung und sequenziellen Vorhersagbarkeit neu konzipiert, ohne auf LLMs angewiesen zu sein. ReSID besteht aus zwei Komponenten: (i) Field-Aware Masked Auto-Encoding (FAMAE), das prädiktiv suffiziente Item-Repräsentationen aus strukturierten Merkmalen lernt, und (ii) Globally Aligned Orthogonal Quantization (GAOQ), das durch gemeinsame Reduzierung von semantischer Ambiguität und präfix-konditionaler Unsicherheit kompakte und vorhersagbare SID-Sequenzen erzeugt. Theoretische Analysen und umfangreiche Experimente über zehn Datensätze hinweg zeigen die Wirksamkeit von ReSID. ReSID übertrifft durchgängig starke sequenzielle und SID-basierte generative Baseline-Methoden im Durchschnitt um über 10 %, bei gleichzeitiger Reduzierung der Tokenisierungskosten um bis zum 122-Fachen. Code ist verfügbar unter https://github.com/FuCongResearchSquad/ReSID.
English
Semantic ID (SID)-based recommendation is a promising paradigm for scaling sequential recommender systems, but existing methods largely follow a semantic-centric pipeline: item embeddings are learned from foundation models and discretized using generic quantization schemes. This design is misaligned with generative recommendation objectives: semantic embeddings are weakly coupled with collaborative prediction, and generic quantization is inefficient at reducing sequential uncertainty for autoregressive modeling. To address these, we propose ReSID, a recommendation-native, principled SID framework that rethinks representation learning and quantization from the perspective of information preservation and sequential predictability, without relying on LLMs. ReSID consists of two components: (i) Field-Aware Masked Auto-Encoding (FAMAE), which learns predictive-sufficient item representations from structured features, and (ii) Globally Aligned Orthogonal Quantization (GAOQ), which produces compact and predictable SID sequences by jointly reducing semantic ambiguity and prefix-conditional uncertainty. Theoretical analysis and extensive experiments across ten datasets show the effectiveness of ReSID. ReSID consistently outperforms strong sequential and SID-based generative baselines by an average of over 10%, while reducing tokenization cost by up to 122x. Code is available at https://github.com/FuCongResearchSquad/ReSID.