Rank-GRPO: Addestramento di Sistemi Conversazionali di Raccomandazione basati su LLM con Apprendimento per Rinforzo

Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning

October 23, 2025

Autori: Yaochen Zhu, Harald Steck, Dawen Liang, Yinhan He, Jundong Li, Nathan Kallus

cs.AI

Abstract

I grandi modelli linguistici (LLM) stanno rimodellando il paradigma dei sistemi di raccomandazione consentendo agli utenti di esprimere le proprie preferenze e ricevere raccomandazioni attraverso conversazioni. Tuttavia, allineare gli LLM al compito di raccomandazione rimane una sfida: i LLM pre-addestrati spesso generano elementi fuori catalogo, violano i formati di output richiesti e la loro qualità di ranking si degrada bruscamente verso la fine della lista generata. A tal fine, proponiamo ConvRec-R1, un framework a due stadi per l'addestramento end-to-end di sistemi di raccomandazione conversazionali basati su LLM. Nello Stadio 1, costruiamo un dataset di clonazione comportamentale con una pipeline Remap-Reflect-Adjust, che produce dimostrazioni di alta qualità e ancorate al catalogo da potenti LLM blackbox per avviare il training di RL. Nello Stadio 2, proponiamo Rank-GRPO, un'estensione principiata dell'ottimizzazione della politica relativa di gruppo (GRPO) adattata a compiti con output di tipo rank. Rank-GRPO tratta ogni posizione nella lista di raccomandazione come unità invece del token (troppo granulare) o della sequenza (troppo grossolana), ridefinendo le ricompense per rimuovere l'assegnazione di credito non causale e introducendo un rapporto di importanza a livello di rank basato sulla media geometrica delle probabilità dei token per posizione per stabilizzare gli aggiornamenti della politica. Esperimenti sul dataset pubblico Reddit-v2 mostrano che ConvRec-R1 converge più velocemente e raggiunge Recall e NDCG più elevati rispetto ai baseline di tipo GRPO. Codice e dataset sono rilasciati su https://github.com/yaochenzhu/Rank-GRPO.

English

Large language models (LLMs) are reshaping the recommender system paradigm by enabling users to express preferences and receive recommendations through conversations. Yet, aligning LLMs to the recommendation task remains challenging: pretrained LLMs often generate out-of-catalog items, violate required output formats, and their ranking quality degrades sharply toward the end of the generated list. To this end, we propose ConvRec-R1, a two-stage framework for end-to-end training of LLM-based conversational recommender systems. In Stage 1, we construct a behavioral-cloning dataset with a Remap-Reflect-Adjust pipeline, which produces high-quality, catalog-grounded demonstrations from powerful blackbox LLMs to warm-start the RL training. In Stage 2, we propose Rank-GRPO, a principled extension of group relative policy optimization (GRPO) tailored to tasks with rank-style outputs. Rank-GRPO treats each rank in the recommendation list as the unit instead of token (too fine-grained) or sequence (too coarse), redefining rewards to remove non-causal credit assignment and introducing a rank-level importance ratio based on the geometric mean of rank-wise token probabilities to stabilize policy updates. Experiments on the public Reddit-v2 dataset show that ConvRec-R1 converges faster and achieves higher Recall and NDCG than GRPO-style baselines. Code and datasets are released at https://github.com/yaochenzhu/Rank-GRPO.