推奨する前に考える：逐次推薦における潜在的な推論能力の解放

Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

March 28, 2025

著者: Jiakai Tang, Sunhao Dai, Teng Shi, Jun Xu, Xu Chen, Wen Chen, Wu Jian, Yuning Jiang

cs.AI

要旨

逐次推薦（SeqRec）は、ユーザーの過去のインタラクションから逐次的なパターンを捉えることで次のアイテムを予測することを目的としており、多くの現実世界の推薦システムにおいて重要な役割を果たしています。しかし、既存のアプローチは主に直接的な順方向計算パラダイムを採用しており、シーケンスエンコーダの最終的な隠れ状態がユーザー表現として機能します。我々は、この推論パラダイムが計算深度の限界により、ユーザーの嗜好の複雑な進化をモデル化するのに苦労し、ロングテールアイテムに対する微妙な理解を欠いているため、最適な性能を発揮できないと主張します。この問題を解決するために、我々はReaRecを提案します。ReaRecは、推薦システムにおける最初の推論時計算フレームワークであり、暗黙的な多段階推論を通じてユーザー表現を強化します。具体的には、ReaRecはシーケンスの最後の隠れ状態を逐次推薦器に自己回帰的にフィードし、特別な推論位置埋め込みを組み込むことで、元のアイテムエンコーディング空間と多段階推論空間を分離します。さらに、ReaRecの推論ポテンシャルを効果的に活用するために、アンサンブル推論学習（ERL）とプログレッシブ推論学習（PRL）という2つの軽量な推論ベースの学習方法を導入します。5つの公開された現実世界のデータセットと異なるSeqRecアーキテクチャを用いた広範な実験により、我々が提案するReaRecの汎用性と有効性が実証されました。注目すべきことに、事後分析により、ReaRecが複数の逐次推薦バックボーンの性能上限を約30％から50％大幅に引き上げることが明らかになりました。したがって、我々はこの研究が逐次推薦における推論時計算の未来の研究に対して新たで有望な道を開くことができると信じています。

English

Sequential Recommendation (SeqRec) aims to predict the next item by capturing sequential patterns from users' historical interactions, playing a crucial role in many real-world recommender systems. However, existing approaches predominantly adopt a direct forward computation paradigm, where the final hidden state of the sequence encoder serves as the user representation. We argue that this inference paradigm, due to its limited computational depth, struggles to model the complex evolving nature of user preferences and lacks a nuanced understanding of long-tail items, leading to suboptimal performance. To address this issue, we propose ReaRec, the first inference-time computing framework for recommender systems, which enhances user representations through implicit multi-step reasoning. Specifically, ReaRec autoregressively feeds the sequence's last hidden state into the sequential recommender while incorporating special reasoning position embeddings to decouple the original item encoding space from the multi-step reasoning space. Moreover, we introduce two lightweight reasoning-based learning methods, Ensemble Reasoning Learning (ERL) and Progressive Reasoning Learning (PRL), to further effectively exploit ReaRec's reasoning potential. Extensive experiments on five public real-world datasets and different SeqRec architectures demonstrate the generality and effectiveness of our proposed ReaRec. Remarkably, post-hoc analyses reveal that ReaRec significantly elevates the performance ceiling of multiple sequential recommendation backbones by approximately 30\%-50\%. Thus, we believe this work can open a new and promising avenue for future research in inference-time computing for sequential recommendation.