Rank-GRPO: Het trainen van op grote taalmodellen gebaseerde conversatie-aanbevelingssystemen met reinforcement learning

Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning

October 23, 2025

Auteurs: Yaochen Zhu, Harald Steck, Dawen Liang, Yinhan He, Jundong Li, Nathan Kallus

cs.AI

Samenvatting

Grote taalmodellen (LLM's) zijn bezig het paradigma van aanbevelingssystemen te hervormen door gebruikers in staat te stellen voorkeuren uit te drukken en aanbevelingen te ontvangen via gesprekken. Het afstemmen van LLM's op de aanbevelingstaak blijft echter een uitdaging: vooraf getrainde LLM's genereren vaak items die niet in de catalogus voorkomen, schenden vereiste uitvoerformaten en hun rangschikkingskwaliteit gaat sterk achteruit aan het einde van de gegenereerde lijst. Daarom stellen wij ConvRec-R1 voor, een raamwerk met twee fasen voor end-to-end training van op LLM's gebaseerde conversationele aanbevelingssystemen. In Fase 1 construeren we een gedragskloon-dataset met een Remap-Reflect-Adjust pijplijn, die hoogwaardige, op de catalogus gebaseerde demonstraties produceert vanuit krachtige blackbox-LLM's om de RL-training te warmstarten. In Fase 2 stellen we Rank-GRPO voor, een principiële uitbreiding van group relative policy optimization (GRPO) die is toegesneden op taken met rangschikkingsstijl-uitvoer. Rank-GRPO behandelt elke rang in de aanbevelingslijst als eenheid in plaats van tokens (te fijnkorrelig) of sequenties (te grof), herdefinieert beloningen om niet-causale toekenning van verdiensten te verwijderen en introduceert een rangniveau-belangverhouding gebaseerd op het geometrisch gemiddelde van ranggewijze tokenkansen om beleidsupdates te stabiliseren. Experimenten op de publieke Reddit-v2 dataset tonen aan dat ConvRec-R1 sneller convergeert en een hogere Recall en NDCG bereikt dan GRPO-stijl-basislijnen. Code en datasets zijn vrijgegeven op https://github.com/yaochenzhu/Rank-GRPO.

English

Large language models (LLMs) are reshaping the recommender system paradigm by enabling users to express preferences and receive recommendations through conversations. Yet, aligning LLMs to the recommendation task remains challenging: pretrained LLMs often generate out-of-catalog items, violate required output formats, and their ranking quality degrades sharply toward the end of the generated list. To this end, we propose ConvRec-R1, a two-stage framework for end-to-end training of LLM-based conversational recommender systems. In Stage 1, we construct a behavioral-cloning dataset with a Remap-Reflect-Adjust pipeline, which produces high-quality, catalog-grounded demonstrations from powerful blackbox LLMs to warm-start the RL training. In Stage 2, we propose Rank-GRPO, a principled extension of group relative policy optimization (GRPO) tailored to tasks with rank-style outputs. Rank-GRPO treats each rank in the recommendation list as the unit instead of token (too fine-grained) or sequence (too coarse), redefining rewards to remove non-causal credit assignment and introducing a rank-level importance ratio based on the geometric mean of rank-wise token probabilities to stabilize policy updates. Experiments on the public Reddit-v2 dataset show that ConvRec-R1 converges faster and achieves higher Recall and NDCG than GRPO-style baselines. Code and datasets are released at https://github.com/yaochenzhu/Rank-GRPO.