R1-VL: Aprendizaje para razonar con modelos de lenguaje multimodal de gran escala mediante optimización de políticas relativas por pasos grupales

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

Autores: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

Resumen

Estudios recientes generalmente mejoran las capacidades de razonamiento de los MLLMs mediante ajuste fino supervisado en datos de alta calidad de cadenas de razonamiento, lo que a menudo lleva a los modelos a simplemente imitar caminos de razonamiento exitosos sin comprender cuáles son los caminos de razonamiento incorrectos. En este trabajo, nuestro objetivo es mejorar la capacidad de razonamiento de los MLLMs más allá de la imitación pasiva de caminos de razonamiento positivos. Para ello, diseñamos Step-wise Group Relative Policy Optimization (StepGRPO), un nuevo marco de aprendizaje por refuerzo en línea que permite a los MLLMs auto-mejorar su capacidad de razonamiento mediante recompensas simples, efectivas y densas paso a paso. Específicamente, StepGRPO introduce dos nuevas recompensas basadas en reglas para el razonamiento: Step-wise Reasoning Accuracy Reward (StepRAR) y Step-wise Reasoning Validity Reward (StepRVR). StepRAR recompensa los caminos de razonamiento que contienen pasos intermedios necesarios mediante una técnica de coincidencia suave de pasos clave, mientras que StepRVR recompensa los caminos de razonamiento que siguen un proceso bien estructurado y lógicamente consistente a través de una estrategia de evaluación de completitud y lógica del razonamiento. Con el StepGRPO propuesto, presentamos R1-VL, una serie de MLLMs con capacidades sobresalientes en el razonamiento paso a paso. Experimentos extensos en 8 benchmarks demuestran la superioridad de nuestros métodos.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.