Verschwenden Sie es nicht: Lenkung generativer Empfehlungssysteme durch strukturierte menschliche Vorannahmen mittels Multi-Head-Decodierung

Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding

November 13, 2025

papers.authors: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang

cs.AI

papers.abstract

Die Optimierung von Empfehlungssystemen für Ziele jenseits der Genauigkeit, wie Vielfalt, Neuartigkeit und Personalisierung, ist entscheidend für langfristige Nutzerzufriedenheit. Zu diesem Zweck haben Praktiker in der Industrie umfangreiche strukturierte Domänenkenntnisse angesammelt, die wir als menschliche A-priori-Informationen bezeichnen (z.B. Artikel-Taxonomien, zeitliche Muster). Dieses Wissen wird typischerweise durch nachträgliche Anpassungen während des Rankings oder Post-Rankings angewendet. Dieser Ansatz bleibt jedoch vom Kernmodelllernen entkoppelt, was besonders unerwünscht ist, da die Industrie zu end-to-end generativen Empfehlungs-Foundation-Modellen übergeht. Andererseits erfordern viele Methoden, die auf diese Ziele jenseits der Genauigkeit abzielen, oft architekturspezifische Modifikationen und verwerfen diese wertvollen menschlichen A-priori-Informationen, indem sie Nutzerabsichten auf vollständig unüberwachte Weise lernen. Anstatt die über Jahre gesammelten menschlichen A-priori-Informationen zu verwerfen, führen wir ein backbone-unabhängiges Framework ein, das diese A-priori-Informationen nahtlos direkt in das End-to-End-Training generativer Empfehlungssysteme integriert. Mit leichten, prioritätskonditionierten Adapter-Head-Architekturen, die von effizienten LLM-Decoding-Strategien inspiriert sind, lenkt unser Ansatz das Modell dazu, Nutzerabsichten entlang menschlich nachvollziehbarer Achsen zu entflechten (z.B. Interaktionstypen, langfristige vs. kurzfristige Interessen). Wir führen außerdem eine hierarchische Kompositionsstrategie zur Modellierung komplexer Interaktionen zwischen verschiedenen Prioritätstypen ein. Umfangreiche Experimente mit drei großskaligen Datensätzen zeigen, dass unsere Methode sowohl die Genauigkeit als auch die Ziele jenseits der Genauigkeit signifikant verbessert. Wir zeigen auch, dass menschliche A-priori-Informationen es dem Backbone-Modell ermöglichen, längere Kontextlängen und größere Modellgrößen effektiver zu nutzen.

English

Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner. Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.