Ne gaspillez pas : orienter les recommandations génératives avec des connaissances humaines structurées via un décodage multi-têtes
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
papers.authors: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
papers.abstract
L'optimisation des systèmes de recommandation pour des objectifs dépassant la précision, tels que la diversité, la nouveauté et la personnalisation, est cruciale pour la satisfaction des utilisateurs à long terme. À cette fin, les praticiens de l'industrie ont accumulé de vastes quantités de connaissances métier structurées, que nous appelons des préconceptions humaines (par exemple, des taxonomies d'articles, des modèles temporels). Ces connaissances sont généralement appliquées via des ajustements a posteriori lors du classement ou du post-classement. Cependant, cette approche reste découplée de l'apprentissage du modèle central, ce qui est particulièrement indésirable alors que l'industrie évolue vers des modèles de fondation génératifs de recommandation de bout en bout. D'autre part, de nombreuses méthodes ciblant ces objectifs au-delà de la précision nécessitent souvent des modifications spécifiques à l'architecture et rejettent ces précieuses préconceptions humaines en apprenant l'intention de l'utilisateur de manière entièrement non supervisée.
Plutôt que de rejeter les préconceptions humaines accumulées au fil des années de pratique, nous introduisons un cadre indépendant de l'architecture de base qui intègre de manière transparente ces préconceptions humaines directement dans l'entraînement de bout en bout des recommandeurs génératifs. Grâce à des têtes d'adaptation légères, conditionnées par les préconceptions et inspirées par des stratégies de décodage efficaces de grands modèles de langage (LLM), notre approche guide le modèle pour qu'il distingue l'intention de l'utilisateur selon des axes compréhensibles par l'homme (par exemple, les types d'interaction, les intérêts à long terme versus à court terme). Nous introduisons également une stratégie de composition hiérarchique pour modéliser les interactions complexes entre différents types de préconceptions. Des expériences approfondies sur trois jeux de données à grande échelle démontrent que notre méthode améliore considérablement à la fois la précision et les objectifs qui la dépassent. Nous montrons également que les préconceptions humaines permettent au modèle de base de tirer parti plus efficacement de longueurs de contexte plus longues et de tailles de modèle plus importantes.
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.