Visión-R1: Incentivando la Capacidad de Razonamiento en Modelos de Lenguaje Multimodales de Gran Escala

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

March 9, 2025

Autores: Wenxuan Huang, Bohan Jia, Zijie Zhai, Shaosheng Cao, Zheyu Ye, Fei Zhao, Yao Hu, Shaohui Lin

cs.AI

Resumen

DeepSeek-R1-Zero ha demostrado con éxito la emergencia de capacidades de razonamiento en LLMs (Modelos de Lenguaje de Gran Escala) únicamente a través del Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Inspirados por este avance, exploramos cómo el RL puede ser utilizado para mejorar la capacidad de razonamiento de los MLLMs (Modelos Multimodales de Lenguaje de Gran Escala). Sin embargo, el entrenamiento directo con RL enfrenta dificultades para activar capacidades de razonamiento complejas, como el cuestionamiento y la reflexión en los MLLMs, debido a la ausencia de datos sustanciales y de alta calidad para el razonamiento multimodal. Para abordar este problema, proponemos el MLLM de razonamiento, Vision-R1, con el objetivo de mejorar la capacidad de razonamiento multimodal. Específicamente, primero construimos un conjunto de datos multimodal de alta calidad sin anotaciones humanas, aprovechando un MLLM existente y DeepSeek-R1 mediante la conexión de modalidades y el filtrado de datos, obteniendo un conjunto de datos multimodal de 200K, denominado Vision-R1-cold. Este conjunto de datos sirve como inicialización de arranque en frío para Vision-R1. Para mitigar los desafíos de optimización causados por el sobrepensamiento después del arranque en frío, proponemos la estrategia de Entrenamiento de Supresión de Pensamiento Progresivo (PTST, por sus siglas en inglés) y empleamos la Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) con la función de recompensa de resultados de formato duro, para refinar gradualmente la capacidad del modelo para aprender procesos de razonamiento correctos y complejos en un conjunto de datos matemáticos multimodales de 10K. Experimentos exhaustivos muestran que nuestro modelo logra una mejora promedio de ~6% en varios puntos de referencia de razonamiento matemático multimodal. Vision-R1-7B alcanza un 73.5% de precisión en el ampliamente utilizado punto de referencia MathVista, lo cual es solo un 0.4% inferior al modelo líder de razonamiento, OpenAI O1. Los conjuntos de datos y el código serán liberados en: https://github.com/Osilly/Vision-R1.

English

DeepSeek-R1-Zero has successfully demonstrated the emergence of reasoning capabilities in LLMs purely through Reinforcement Learning (RL). Inspired by this breakthrough, we explore how RL can be utilized to enhance the reasoning capability of MLLMs. However, direct training with RL struggles to activate complex reasoning capabilities such as questioning and reflection in MLLMs, due to the absence of substantial high-quality multimodal reasoning data. To address this issue, we propose the reasoning MLLM, Vision-R1, to improve multimodal reasoning capability. Specifically, we first construct a high-quality multimodal CoT dataset without human annotations by leveraging an existing MLLM and DeepSeek-R1 through modality bridging and data filtering to obtain a 200K multimodal CoT dataset, Vision-R1-cold dataset. It serves as cold-start initialization data for Vision-R1. To mitigate the optimization challenges caused by overthinking after cold start, we propose Progressive Thinking Suppression Training (PTST) strategy and employ Group Relative Policy Optimization (GRPO) with the hard formatting result reward function to gradually refine the model's ability to learn correct and complex reasoning processes on a 10K multimodal math dataset. Comprehensive experiments show our model achieves an average improvement of sim6% across various multimodal math reasoning benchmarks. Vision-R1-7B achieves a 73.5% accuracy on the widely used MathVista benchmark, which is only 0.4% lower than the leading reasoning model, OpenAI O1. The datasets and code will be released in: https://github.com/Osilly/Vision-R1 .