R1-VL: Обучение рассуждениям с помощью мультимодальных больших языковых моделей через пошаговую групповую относительную оптимизацию политик

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

Авторы: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

Аннотация

Недавние исследования, как правило, улучшают способности MLLM к рассуждению за счет контролируемого тонкого настройки на высококачественных данных, содержащих цепочки рассуждений, что часто приводит к тому, что модели просто имитируют успешные пути рассуждений, не понимая, какие из них являются ошибочными. В данной работе мы стремимся усилить способность MLLM к рассуждению, выходя за рамки пассивного подражания положительным путям рассуждений. Для этого мы разработали Step-wise Group Relative Policy Optimization (StepGRPO) — новую онлайн-среду обучения с подкреплением, которая позволяет MLLM самостоятельно улучшать способность к рассуждению с помощью простых, эффективных и плотных пошаговых вознаграждений. В частности, StepGRPO вводит два новых правила для вознаграждения рассуждений: Step-wise Reasoning Accuracy Reward (StepRAR) и Step-wise Reasoning Validity Reward (StepRVR). StepRAR вознаграждает пути рассуждений, содержащие необходимые промежуточные шаги, с помощью техники мягкого сопоставления ключевых шагов, в то время как StepRVR вознаграждает пути рассуждений, которые следуют хорошо структурированному и логически последовательному процессу, через стратегию оценки полноты и логики рассуждений. С использованием предложенного StepGRPO мы представляем R1-VL — серию MLLM с выдающимися способностями к пошаговому рассуждению. Многочисленные эксперименты на 8 бенчмарках демонстрируют превосходство наших методов.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.