Verspil Het Niet: Het Sturen van Generatieve Aanbevelaars met Gestructureerde Menselijke Priors via Multi-head Decodering
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
Auteurs: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
Samenvatting
Het optimaliseren van aanbevelingssystemen voor doelstellingen die verder gaan dan nauwkeurigheid, zoals diversiteit, nieuwigheid en personalisatie, is cruciaal voor langdurige gebruikers tevredenheid. Hiertoe hebben praktijkmensen in de industrie grote hoeveelheden gestructureerde domeinkennis opgebouwd, die wij human priors noemen (bijvoorbeeld itemtaxonomieën, temporele patronen). Deze kennis wordt doorgaans toegepast via post-hoc aanpassingen tijdens het rangschikken of na-rangschikken. Deze aanpak blijft echter losstaan van de kernmodeltraining, wat vooral ongewenst is nu de industrie overgaat op end-to-end generatieve aanbevelingsfoundationmodellen. Anderzijds vereisen veel methoden die zich richten op deze doelstellingen voorbij nauwkeurigheid vaak architectuurspecifieke aanpassingen en negeren ze deze waardevolle human priors door gebruikersintentie op een volledig onbewaakte manier te leren.
In plaats van de human priors die door jarenlange praktijk zijn opgebouwd te negeren, introduceren wij een backbone-agnostisch raamwerk dat deze human priors naadloos integreert in de end-to-end training van generatieve aanbevelingssystemen. Met lichte, prior-geconditioneerde adapterkoppen, geïnspireerd door efficiënte LLM-decoderingstrategieën, leidt onze aanpak het model om gebruikersintentie te ontwarren langs voor mensen begrijpelijke assen (bijvoorbeeld interactietypes, lange- versus kortetermijnbelangen). Wij introduceren ook een hiërarchische compositiestrategie voor het modelleren van complexe interacties tussen verschillende prior-typen. Uitgebreide experimenten op drie grootschalige datasets tonen aan dat onze methode zowel de nauwkeurigheid als de doelstellingen voorbij nauwkeurigheid aanzienlijk verbetert. Wij tonen ook aan dat human priors het backbone-model in staat stellen effectiever gebruik te maken van langere contextlengtes en grotere modelgroottes.
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.