Rank-GRPO: Treinando Sistemas de Recomendação Conversacionais Baseados em LLM com Aprendizado por Reforço

Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning

October 23, 2025

Autores: Yaochen Zhu, Harald Steck, Dawen Liang, Yinhan He, Jundong Li, Nathan Kallus

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) estão a remodelar o paradigma dos sistemas de recomendação, permitindo que os utilizadores expressem preferências e recebam recomendações através de conversas. No entanto, alinhar os LLMs com a tarefa de recomendação continua a ser um desafio: os LLMs pré-treinados frequentemente geram itens fora do catálogo, violam formatos de saída exigidos e a sua qualidade de ordenação degrada-se acentuadamente no final da lista gerada. Para tal, propomos o ConvRec-R1, uma estrutura em duas fases para o treino de ponta a ponta de sistemas de recomendação conversacionais baseados em LLM. Na Fase 1, construímos um conjunto de dados de clonagem comportamental com um pipeline Remapear-Refletir-Ajustar, que produz demonstrações de alta qualidade e fundamentadas no catálogo a partir de LLMs blackbox poderosos para aquecer o início do treino de RL. Na Fase 2, propomos o Rank-GRPO, uma extensão fundamentada da otimização de políticas relativas por grupo (GRPO) adaptada a tarefas com saídas do tipo ordenação. O Rank-GRPO trata cada posição na lista de recomendações como unidade, em vez do token (demasiado granular) ou da sequência (demasiado grosseiro), redefinindo as recompensas para remover a atribuição de crédito não causal e introduzindo uma razão de importância ao nível da posição baseada na média geométrica das probabilidades dos tokens por posição para estabilizar as atualizações da política. Experiências no conjunto de dados público Reddit-v2 mostram que o ConvRec-R1 converge mais rapidamente e atinge Recall e NDCG superiores às linhas de base do estilo GRPO. O código e os conjuntos de dados são disponibilizados em https://github.com/yaochenzhu/Rank-GRPO.

English

Large language models (LLMs) are reshaping the recommender system paradigm by enabling users to express preferences and receive recommendations through conversations. Yet, aligning LLMs to the recommendation task remains challenging: pretrained LLMs often generate out-of-catalog items, violate required output formats, and their ranking quality degrades sharply toward the end of the generated list. To this end, we propose ConvRec-R1, a two-stage framework for end-to-end training of LLM-based conversational recommender systems. In Stage 1, we construct a behavioral-cloning dataset with a Remap-Reflect-Adjust pipeline, which produces high-quality, catalog-grounded demonstrations from powerful blackbox LLMs to warm-start the RL training. In Stage 2, we propose Rank-GRPO, a principled extension of group relative policy optimization (GRPO) tailored to tasks with rank-style outputs. Rank-GRPO treats each rank in the recommendation list as the unit instead of token (too fine-grained) or sequence (too coarse), redefining rewards to remove non-causal credit assignment and introducing a rank-level importance ratio based on the geometric mean of rank-wise token probabilities to stabilize policy updates. Experiments on the public Reddit-v2 dataset show that ConvRec-R1 converges faster and achieves higher Recall and NDCG than GRPO-style baselines. Code and datasets are released at https://github.com/yaochenzhu/Rank-GRPO.