Non Sprecare: Guidare i Sistemi di Raccomandazione Generativi con Prior Umane Strutturate tramite Decodifica Multi-Head
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
Autori: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
Abstract
L'ottimizzazione dei sistemi di raccomandazione per obiettivi che vanno oltre la precisione, come la diversità, la novità e la personalizzazione, è cruciale per la soddisfazione degli utenti a lungo termine. A tal fine, i professionisti del settore hanno accumulato vaste quantità di conoscenza di dominio strutturata, che definiamo *human priors* (ad esempio, tassonomie di elementi, pattern temporali). Questa conoscenza viene tipicamente applicata tramite aggiustamenti *post-hoc* durante il ranking o il post-ranking. Tuttavia, questo approccio rimane disaccoppiato dall'apprendimento del modello centrale, il che è particolarmente indesiderabile man mano che l'industria si sposta verso modelli di fondazione generativi end-to-end per la raccomandazione. D'altro canto, molti metodi che mirano a questi obiettivi oltre la precisione spesso richiedono modifiche specifiche all'architettura e scartano questi preziosi *human priors* apprendendo l'intento dell'utente in modo completamente non supervisionato.
Invece di scartare gli *human priors* accumulati in anni di pratica, introduciamo un framework *backbone-agnostic* che integra perfettamente questi *human priors* direttamente nell'addestramento end-to-end dei raccomandatori generativi. Grazie a teste adattatrici leggere, condizionate dai *priors* e ispirate a strategie di decodifica efficienti per LLM, il nostro approccio guida il modello a districare l'intento dell'utente lungo assi comprensibili all'uomo (ad esempio, tipi di interazione, interessi a lungo termine vs. a breve termine). Introduciamo anche una strategia di composizione gerarchica per modellare interazioni complesse tra diversi tipi di *prior*. Esperimenti estensivi su tre dataset su larga scala dimostrano che il nostro metodo migliora significativamente sia gli obiettivi di precisione che quelli oltre la precisione. Mostriamo inoltre che gli *human priors* consentono al modello *backbone* di sfruttare più efficacemente lunghezze di contesto maggiori e dimensioni del modello più ampie.
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.