추천 전에 생각하라: 순차적 추천을 위한 잠재적 추론 능력의 해방

Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

March 28, 2025

저자: Jiakai Tang, Sunhao Dai, Teng Shi, Jun Xu, Xu Chen, Wen Chen, Wu Jian, Yuning Jiang

cs.AI

초록

순차 추천(Sequential Recommendation, SeqRec)은 사용자의 과거 상호작용에서 순차적 패턴을 포착하여 다음 아이템을 예측하는 것을 목표로 하며, 실제 세계의 많은 추천 시스템에서 중요한 역할을 합니다. 그러나 기존 접근 방식은 주로 직접적인 순방향 계산 패러다임을 채택하고 있으며, 여기서 시퀀스 인코더의 최종 은닉 상태가 사용자 표현으로 사용됩니다. 우리는 이러한 추론 패러다임이 제한된 계산 깊이로 인해 사용자 선호도의 복잡한 진화 특성을 모델링하는 데 어려움을 겪고, 롱테일 아이템에 대한 미묘한 이해가 부족하여 최적의 성능을 달성하지 못한다고 주장합니다. 이 문제를 해결하기 위해, 우리는 추천 시스템을 위한 첫 번째 추론 시점 계산 프레임워크인 ReaRec를 제안합니다. ReaRec는 암시적 다단계 추론을 통해 사용자 표현을 강화합니다. 구체적으로, ReaRec는 시퀀스의 마지막 은닉 상태를 순차 추천기에 자동회귀적으로 입력하면서, 특수한 추론 위치 임베딩을 통합하여 원래 아이템 인코딩 공간과 다단계 추론 공간을 분리합니다. 또한, 우리는 ReaRec의 추론 잠재력을 효과적으로 활용하기 위해 두 가지 경량화된 추론 기반 학습 방법인 앙상블 추론 학습(Ensemble Reasoning Learning, ERL)과 점진적 추론 학습(Progressive Reasoning Learning, PRL)을 도입했습니다. 다섯 개의 공개된 실제 데이터셋과 다양한 SeqRec 아키텍처에 대한 광범위한 실험을 통해 우리가 제안한 ReaRec의 일반성과 효과성을 입증했습니다. 특히, 사후 분석 결과 ReaRec가 여러 순차 추천 백본의 성능 한계를 약 30\%-50\%까지 크게 높이는 것으로 나타났습니다. 따라서, 우리는 이 연구가 순차 추천을 위한 추론 시점 계산 분야에서 새로운 유망한 연구 방향을 열 수 있을 것으로 믿습니다.

English

Sequential Recommendation (SeqRec) aims to predict the next item by capturing sequential patterns from users' historical interactions, playing a crucial role in many real-world recommender systems. However, existing approaches predominantly adopt a direct forward computation paradigm, where the final hidden state of the sequence encoder serves as the user representation. We argue that this inference paradigm, due to its limited computational depth, struggles to model the complex evolving nature of user preferences and lacks a nuanced understanding of long-tail items, leading to suboptimal performance. To address this issue, we propose ReaRec, the first inference-time computing framework for recommender systems, which enhances user representations through implicit multi-step reasoning. Specifically, ReaRec autoregressively feeds the sequence's last hidden state into the sequential recommender while incorporating special reasoning position embeddings to decouple the original item encoding space from the multi-step reasoning space. Moreover, we introduce two lightweight reasoning-based learning methods, Ensemble Reasoning Learning (ERL) and Progressive Reasoning Learning (PRL), to further effectively exploit ReaRec's reasoning potential. Extensive experiments on five public real-world datasets and different SeqRec architectures demonstrate the generality and effectiveness of our proposed ReaRec. Remarkably, post-hoc analyses reveal that ReaRec significantly elevates the performance ceiling of multiple sequential recommendation backbones by approximately 30\%-50\%. Thus, we believe this work can open a new and promising avenue for future research in inference-time computing for sequential recommendation.