Rank-GRPO: Training LLM-basierter konversationeller Empfehlungssysteme mit Reinforcement Learning

Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning

October 23, 2025

papers.authors: Yaochen Zhu, Harald Steck, Dawen Liang, Yinhan He, Jundong Li, Nathan Kallus

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) verändern das Paradigma von Empfehlungssystemen grundlegend, indem sie es Nutzern ermöglichen, ihre Präferenzen in Konversationen auszudrücken und Empfehlungen zu erhalten. Dennoch stellt die Anpassung von LLMs an die Empfehlungsaufgabe eine Herausforderung dar: vortrainierte LLMs generieren häufig Artikel, die nicht im Katalog vorhanden sind, verletzen erforderliche Ausgabeformate, und ihre Ranking-Qualität verschlechtert sich gegen Ende der generierten Liste rapide. Zu diesem Zweck schlagen wir ConvRec-R1 vor, ein Zwei-Stufen-Framework für das End-to-End-Training von konversationellen Empfehlungssystemen auf LLM-Basis. In Stufe 1 erstellen wir einen Behavioral-Cloning-Datensatz mit einer Remap-Reflect-Adjust-Pipeline, die hochwertige, kataloggestützte Demonstrationen von leistungsstarken Blackbox-LLMs erzeugt, um das RL-Training zu initialisieren. In Stufe 2 schlagen wir Rank-GRPO vor, eine principled Erweiterung des Group Relative Policy Optimization (GRPO), das für Aufgaben mit ranking-artigen Ausgaben maßgeschneidert ist. Rank-GRPO behandelt jeden Rang in der Empfehlungsliste als Einheit anstelle von Tokens (zu feinkörnig) oder Sequenzen (zu grob), definiert Belohnungen neu, um nicht-kausale Kreditzuweisung zu entfernen, und führt ein rangbasiertes Importance Ratio auf Basis des geometrischen Mittels der tokenweisen Wahrscheinlichkeiten pro Rang ein, um Policy-Updates zu stabilisieren. Experimente auf dem öffentlichen Reddit-v2-Datensatz zeigen, dass ConvRec-R1 schneller konvergiert und höhere Recall- und NDCG-Werte erreicht als GRPO-basierte Baseline-Methoden. Code und Datensätze sind unter https://github.com/yaochenzhu/Rank-GRPO verfügbar.

English

Large language models (LLMs) are reshaping the recommender system paradigm by enabling users to express preferences and receive recommendations through conversations. Yet, aligning LLMs to the recommendation task remains challenging: pretrained LLMs often generate out-of-catalog items, violate required output formats, and their ranking quality degrades sharply toward the end of the generated list. To this end, we propose ConvRec-R1, a two-stage framework for end-to-end training of LLM-based conversational recommender systems. In Stage 1, we construct a behavioral-cloning dataset with a Remap-Reflect-Adjust pipeline, which produces high-quality, catalog-grounded demonstrations from powerful blackbox LLMs to warm-start the RL training. In Stage 2, we propose Rank-GRPO, a principled extension of group relative policy optimization (GRPO) tailored to tasks with rank-style outputs. Rank-GRPO treats each rank in the recommendation list as the unit instead of token (too fine-grained) or sequence (too coarse), redefining rewards to remove non-causal credit assignment and introducing a rank-level importance ratio based on the geometric mean of rank-wise token probabilities to stabilize policy updates. Experiments on the public Reddit-v2 dataset show that ConvRec-R1 converges faster and achieves higher Recall and NDCG than GRPO-style baselines. Code and datasets are released at https://github.com/yaochenzhu/Rank-GRPO.