Avançando no Raciocínio Multimodal: Do Início Otimizado ao Aprendizado por Reforço em Etapas

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

June 4, 2025

Autores: Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

cs.AI

Resumo

Inspirados pelas notáveis capacidades de raciocínio do Deepseek-R1 em tarefas textuais complexas, muitos trabalhos tentam incentivar habilidades semelhantes em Modelos de Linguagem Multimodais de Grande Escala (MLLMs) aplicando diretamente o aprendizado por reforço (RL). No entanto, eles ainda enfrentam dificuldades para ativar o raciocínio complexo. Neste artigo, em vez de examinar o RL multimodal de forma isolada, investigamos os pipelines de treinamento atuais e identificamos três fenômenos cruciais: 1) Uma inicialização eficaz de "cold start" é crítica para aprimorar o raciocínio dos MLLMs. Curiosamente, descobrimos que inicializar apenas com dados textuais cuidadosamente selecionados pode levar a um desempenho superior a muitos modelos recentes de raciocínio multimodal, mesmo antes do RL multimodal. 2) O GRPO padrão aplicado ao RL multimodal sofre de estagnação de gradiente, o que prejudica a estabilidade e o desempenho do treinamento. 3) O treinamento subsequente de RL apenas com texto, após a fase de RL multimodal, aprimora ainda mais o raciocínio multimodal. Essa abordagem de treinamento em etapas equilibra efetivamente o desenvolvimento do fundamento perceptivo e do raciocínio cognitivo. Ao incorporar as percepções acima e abordar os problemas do RL multimodal, introduzimos o ReVisual-R1, alcançando um novo estado da arte entre os MLLMs de 7B de código aberto em benchmarks desafiadores, incluindo MathVerse, MathVision, WeMath, LogicVista, DynaMath, e os desafiadores AIME2024 e AIME2025.

English

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.