Переосмысление токенизатора в генеративных рекомендательных системах: рекоммендательная кодировка и семантическая квантизация за пределами больших языковых моделей

Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs

February 2, 2026

Авторы: Yu Liang, Zhongjin Zhang, Yuxuan Zhu, Kerui Zhang, Zhiluohan Guo, Wenhang Zhou, Zonqi Yang, Kangle Wu, Yabo Ni, Anxiang Zeng, Cong Fu, Jianxin Wang, Jiazhi Xia

cs.AI

Аннотация

Рекомендательные системы на основе семантических идентификаторов (SID) представляют собой перспективную парадигму для масштабирования последовательных рекомендательных систем. Однако существующие методы в основном следуют семантико-центричному подходу: эмбеддинги элементов извлекаются с помощью базовых моделей и дискретизируются с использованием общих схем квантования. Данный подход не согласуется с задачами генеративного рекомендательного моделирования: семантические эмбеддинги слабо связаны с коллаборативной фильтрацией, а универсальное квантование неэффективно снижает последовательную неопределенность для авторегрессионного моделирования. Для решения этих проблем мы предлагаем ReSID — принципиальную SID-архитектуру, изначально ориентированную на рекомендации, которая переосмысливает обучение представлений и квантование с точки зрения сохранения информации и последовательной предсказуемости, не полагаясь на большие языковые модели. ReSID состоит из двух компонентов: (i) Field-Aware Masked Auto-Encoding (FAMAE), который изучает достаточные для предсказания представления элементов на основе структурированных признаков, и (ii) Globally Aligned Orthogonal Quantization (GAOQ), который создает компактные и предсказуемые SID-последовательности, совместно уменьшая семантическую неоднозначность и условную неопределенность префиксов. Теоретический анализ и масштабные эксперименты на десяти наборах данных демонстрируют эффективность ReSID. Наш метод стабильно превосходит сильные последовательные и SID-базированные генеративные базовые линии в среднем более чем на 10%, одновременно сокращая стоимость токенизации до 122 раз. Код доступен по адресу https://github.com/FuCongResearchSquad/ReSID.

English

Semantic ID (SID)-based recommendation is a promising paradigm for scaling sequential recommender systems, but existing methods largely follow a semantic-centric pipeline: item embeddings are learned from foundation models and discretized using generic quantization schemes. This design is misaligned with generative recommendation objectives: semantic embeddings are weakly coupled with collaborative prediction, and generic quantization is inefficient at reducing sequential uncertainty for autoregressive modeling. To address these, we propose ReSID, a recommendation-native, principled SID framework that rethinks representation learning and quantization from the perspective of information preservation and sequential predictability, without relying on LLMs. ReSID consists of two components: (i) Field-Aware Masked Auto-Encoding (FAMAE), which learns predictive-sufficient item representations from structured features, and (ii) Globally Aligned Orthogonal Quantization (GAOQ), which produces compact and predictable SID sequences by jointly reducing semantic ambiguity and prefix-conditional uncertainty. Theoretical analysis and extensive experiments across ten datasets show the effectiveness of ReSID. ReSID consistently outperforms strong sequential and SID-based generative baselines by an average of over 10%, while reducing tokenization cost by up to 122x. Code is available at https://github.com/FuCongResearchSquad/ReSID.