無駄にしないで：マルチヘッドデコーディングによる構造化された人間の事前知識を用いた生成的レコメンダーの誘導
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
著者: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
要旨
推薦システムの最適化において、精度以外の多様性、新規性、個人化といった目標を追求することは、長期的なユーザ満足度向上に極めて重要です。この目的のために、産業界の実務家は構造化された膨大な領域知識（例：アイテム分類体系、時間的パターン）を蓄積してきました。これを我々は「人間の事前知識（human priors）」と呼びます。この知識は通常、ランキング段階やランキング後処理において事後的調整として適用されます。しかし、この手法はコアモデルの学習から切り離されたままであり、産業がエンドツーエンドの生成的推薦基盤モデルへ移行しつつある現在、これは特に望ましくない状況です。一方、これらの精度以外の目標を扱う多くの手法は、アーキテクチャ固有の変更を必要とし、ユーザ意図を完全に教師なしで学習することにより、これらの貴重な人間の事前知識を捨ててしまいがちです。
長年の実践で蓄積された人間の事前知識を捨てる代わりに、我々はこれらを生成的推薦モデルのエンドツーエンド学習に直接かつシームレスに統合する、基盤モデルに依存しないフレームワークを提案します。効率的なLLMデコーディング戦略にヒントを得た軽量な事前知識条件付きアダプターヘッドを用いることで、我々の手法はモデルを導き、ユーザ意図を人間が理解できる軸（例：インタラクションの種類、長期的興味と短期的興味）に沿って分離します。さらに、異なる種類の事前知識にわたる複雑なインタラクションをモデル化するための階層的合成戦略も導入します。3つの大規模データセットを用いた広範な実験により、本手法が精度目標および精度以外の目標の両方を大幅に改善することを実証します。また、人間の事前知識が基盤モデルにより長いコンテキスト長とより大きなモデルサイズを効果的に活用することを可能にすることを示します。
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.