Думай, прежде чем рекомендовать: раскрытие скрытой силы логического мышления для последовательных рекомендаций

Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

March 28, 2025

Авторы: Jiakai Tang, Sunhao Dai, Teng Shi, Jun Xu, Xu Chen, Wen Chen, Wu Jian, Yuning Jiang

cs.AI

Аннотация

Последовательная рекомендация (SeqRec) направлена на предсказание следующего элемента путем выявления последовательных паттернов из исторических взаимодействий пользователей, играя ключевую роль во многих реальных рекомендательных системах. Однако существующие подходы преимущественно используют парадигму прямого прямого вычисления, где финальное скрытое состояние последовательностного кодировщика служит представлением пользователя. Мы утверждаем, что эта парадигма вывода, из-за ограниченной вычислительной глубины, с трудом моделирует сложную эволюцию предпочтений пользователей и недостаточно точно учитывает элементы из длинного хвоста, что приводит к неоптимальной производительности. Для решения этой проблемы мы предлагаем ReaRec — первую вычислительную платформу для рекомендательных систем, которая улучшает представления пользователей через неявное многошаговое рассуждение. В частности, ReaRec авторегрессивно подает последнее скрытое состояние последовательности в последовательный рекомендатель, одновременно включая специальные позиционные эмбеддинги для рассуждений, чтобы разделить исходное пространство кодирования элементов и пространство многошагового рассуждения. Кроме того, мы представляем два легковесных метода обучения на основе рассуждений: Ensemble Reasoning Learning (ERL) и Progressive Reasoning Learning (PRL), чтобы еще более эффективно раскрыть потенциал рассуждений ReaRec. Эксперименты на пяти публичных наборах реальных данных и различных архитектурах SeqRec демонстрируют универсальность и эффективность предложенного ReaRec. Примечательно, что постфактумные анализы показывают, что ReaRec значительно повышает верхний предел производительности нескольких базовых моделей последовательной рекомендации примерно на 30\%-50\%. Таким образом, мы считаем, что эта работа открывает новое и перспективное направление для будущих исследований в области вычислительных методов для последовательной рекомендации.

English

Sequential Recommendation (SeqRec) aims to predict the next item by capturing sequential patterns from users' historical interactions, playing a crucial role in many real-world recommender systems. However, existing approaches predominantly adopt a direct forward computation paradigm, where the final hidden state of the sequence encoder serves as the user representation. We argue that this inference paradigm, due to its limited computational depth, struggles to model the complex evolving nature of user preferences and lacks a nuanced understanding of long-tail items, leading to suboptimal performance. To address this issue, we propose ReaRec, the first inference-time computing framework for recommender systems, which enhances user representations through implicit multi-step reasoning. Specifically, ReaRec autoregressively feeds the sequence's last hidden state into the sequential recommender while incorporating special reasoning position embeddings to decouple the original item encoding space from the multi-step reasoning space. Moreover, we introduce two lightweight reasoning-based learning methods, Ensemble Reasoning Learning (ERL) and Progressive Reasoning Learning (PRL), to further effectively exploit ReaRec's reasoning potential. Extensive experiments on five public real-world datasets and different SeqRec architectures demonstrate the generality and effectiveness of our proposed ReaRec. Remarkably, post-hoc analyses reveal that ReaRec significantly elevates the performance ceiling of multiple sequential recommendation backbones by approximately 30\%-50\%. Thus, we believe this work can open a new and promising avenue for future research in inference-time computing for sequential recommendation.