Rank-GRPO: Обучение разговорных рекомендательных систем на основе больших языковых моделей с использованием обучения с подкреплением
Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning
October 23, 2025
Авторы: Yaochen Zhu, Harald Steck, Dawen Liang, Yinhan He, Jundong Li, Nathan Kallus
cs.AI
Аннотация
Крупные языковые модели (LLM) преобразуют парадигму рекомендательных систем, позволяя пользователям выражать предпочтения и получать рекомендации через диалог. Однако адаптация LLM к задаче рекомендации остается сложной задачей: предобученные LLM часто генерируют элементы вне каталога, нарушают требуемые форматы вывода, а их качество ранжирования резко ухудшается к концу генерируемого списка. Для решения этой проблемы мы предлагаем ConvRec-R1 — двухэтапную структуру для сквозного обучения диалоговых рекомендательных систем на основе LLM. На Этапе 1 мы создаем набор данных поведенческого клонирования с помощью конвейера Remap-Reflect-Adjust, который производит высококачественные, основанные на каталоге демонстрации из мощных чернобоксных LLM для теплого старта обучения с подкреплением. На Этапе 2 мы предлагаем Rank-GRPO — принципиальное расширение групповой относительной оптимизации политики (GRPO), адаптированное для задач с ранговыми выходами. Rank-GRPO рассматривает каждую позицию в рекомендательном списке как единицу вместо токена (слишком мелкозернисто) или последовательности (слишком крупнозернисто), переопределяя вознаграждения для устранения некорректного назначения заслуг и вводя ранговый коэффициент важности на основе геометрического среднего вероятностей токенов по позициям для стабилизации обновлений политики. Эксперименты на публичном наборе данных Reddit-v2 показывают, что ConvRec-R1 сходится быстрее и достигает более высоких показателей Recall и NDCG по сравнению с базовыми методами в стиле GRPO. Код и наборы данных доступны по адресу https://github.com/yaochenzhu/Rank-GRPO.
English
Large language models (LLMs) are reshaping the recommender system paradigm by
enabling users to express preferences and receive recommendations through
conversations. Yet, aligning LLMs to the recommendation task remains
challenging: pretrained LLMs often generate out-of-catalog items, violate
required output formats, and their ranking quality degrades sharply toward the
end of the generated list. To this end, we propose ConvRec-R1, a two-stage
framework for end-to-end training of LLM-based conversational recommender
systems. In Stage 1, we construct a behavioral-cloning dataset with a
Remap-Reflect-Adjust pipeline, which produces high-quality, catalog-grounded
demonstrations from powerful blackbox LLMs to warm-start the RL training. In
Stage 2, we propose Rank-GRPO, a principled extension of group relative policy
optimization (GRPO) tailored to tasks with rank-style outputs. Rank-GRPO treats
each rank in the recommendation list as the unit instead of token (too
fine-grained) or sequence (too coarse), redefining rewards to remove non-causal
credit assignment and introducing a rank-level importance ratio based on the
geometric mean of rank-wise token probabilities to stabilize policy updates.
Experiments on the public Reddit-v2 dataset show that ConvRec-R1 converges
faster and achieves higher Recall and NDCG than GRPO-style baselines. Code and
datasets are released at https://github.com/yaochenzhu/Rank-GRPO.