R1-VL: Aprendendo a Raciocinar com Modelos de Linguagem Multimodais de Grande Escala via Otimização de Política Relativa em Grupo Passo a Passo

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

Autores: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

Resumo

Estudos recentes geralmente aprimoram as capacidades de raciocínio dos MLLMs por meio de ajuste fino supervisionado em dados de alta qualidade de raciocínio em cadeia de pensamento, o que frequentemente leva os modelos a meramente imitar caminhos de raciocínio bem-sucedidos sem compreender quais são os caminhos de raciocínio incorretos. Neste trabalho, buscamos aprimorar a capacidade de raciocínio dos MLLMs além da imitação passiva de caminhos de raciocínio positivos. Para isso, projetamos o Step-wise Group Relative Policy Optimization (StepGRPO), um novo framework de aprendizado por reforço online que permite que os MLLMs melhorem sua capacidade de raciocínio por meio de recompensas simples, eficazes e densas em cada etapa. Especificamente, o StepGRPO introduz duas novas recompensas baseadas em regras para o raciocínio: a Step-wise Reasoning Accuracy Reward (StepRAR) e a Step-wise Reasoning Validity Reward (StepRVR). A StepRAR recompensa os caminhos de raciocínio que contêm etapas intermediárias necessárias por meio de uma técnica de correspondência suave de etapas-chave, enquanto a StepRVR recompensa os caminhos de raciocínio que seguem um processo bem-estruturado e logicamente consistente por meio de uma estratégia de avaliação de completude e lógica do raciocínio. Com o StepGRPO proposto, introduzimos o R1-VL, uma série de MLLMs com capacidades excepcionais em raciocínio passo a passo. Experimentos extensivos em 8 benchmarks demonstram a superioridade de nossos métodos.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.