Denken, bevor empfohlen wird: Die latente Denkfähigkeit für sequenzielle Empfehlungen freisetzen

Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

March 28, 2025

Autoren: Jiakai Tang, Sunhao Dai, Teng Shi, Jun Xu, Xu Chen, Wen Chen, Wu Jian, Yuning Jiang

cs.AI

Zusammenfassung

Sequential Recommendation (SeqRec) zielt darauf ab, das nächste Element vorherzusagen, indem sequenzielle Muster aus den historischen Interaktionen der Nutzer erfasst werden, und spielt eine entscheidende Rolle in vielen realen Empfehlungssystemen. Allerdings verwenden bestehende Ansätze überwiegend ein direktes Vorwärtsberechnungsparadigma, bei dem der letzte versteckte Zustand des Sequenzencoders als Nutzerrepräsentation dient. Wir argumentieren, dass dieses Inferenzparadigma aufgrund seiner begrenzten Berechnungstiefe Schwierigkeiten hat, die komplexe Entwicklung von Nutzerpräferenzen zu modellieren, und ein differenziertes Verständnis von Long-Tail-Artikeln fehlt, was zu suboptimaler Leistung führt. Um dieses Problem zu lösen, schlagen wir ReaRec vor, das erste Inferenzzeit-Berechnungsframework für Empfehlungssysteme, das Nutzerrepräsentationen durch implizite Mehrschritt-Argumentation verbessert. Insbesondere füttert ReaRec den letzten versteckten Zustand der Sequenz autoregressiv in den sequenziellen Empfehlungsalgorithmus ein, während spezielle Argumentationspositions-Einbettungen verwendet werden, um den ursprünglichen Artikelkodierungsraum vom Mehrschritt-Argumentationsraum zu entkoppeln. Darüber hinaus führen wir zwei leichte, argumentationsbasierte Lernmethoden ein, Ensemble Reasoning Learning (ERL) und Progressive Reasoning Learning (PRL), um das Argumentationspotenzial von ReaRec weiter effektiv auszuschöpfen. Umfangreiche Experimente auf fünf öffentlichen realen Datensätzen und verschiedenen SeqRec-Architekturen demonstrieren die Allgemeingültigkeit und Effektivität unseres vorgeschlagenen ReaRec. Bemerkenswerterweise zeigen post-hoc-Analysen, dass ReaRec die Leistungsgrenze mehrerer sequenzieller Empfehlungs-Backbones signifikant um etwa 30\%-50\% erhöht. Daher glauben wir, dass diese Arbeit einen neuen und vielversprechenden Weg für zukünftige Forschung in der Inferenzzeit-Berechnung für sequenzielle Empfehlungen eröffnen kann.

English

Sequential Recommendation (SeqRec) aims to predict the next item by capturing sequential patterns from users' historical interactions, playing a crucial role in many real-world recommender systems. However, existing approaches predominantly adopt a direct forward computation paradigm, where the final hidden state of the sequence encoder serves as the user representation. We argue that this inference paradigm, due to its limited computational depth, struggles to model the complex evolving nature of user preferences and lacks a nuanced understanding of long-tail items, leading to suboptimal performance. To address this issue, we propose ReaRec, the first inference-time computing framework for recommender systems, which enhances user representations through implicit multi-step reasoning. Specifically, ReaRec autoregressively feeds the sequence's last hidden state into the sequential recommender while incorporating special reasoning position embeddings to decouple the original item encoding space from the multi-step reasoning space. Moreover, we introduce two lightweight reasoning-based learning methods, Ensemble Reasoning Learning (ERL) and Progressive Reasoning Learning (PRL), to further effectively exploit ReaRec's reasoning potential. Extensive experiments on five public real-world datasets and different SeqRec architectures demonstrate the generality and effectiveness of our proposed ReaRec. Remarkably, post-hoc analyses reveal that ReaRec significantly elevates the performance ceiling of multiple sequential recommendation backbones by approximately 30\%-50\%. Thus, we believe this work can open a new and promising avenue for future research in inference-time computing for sequential recommendation.