Progressi nel Ragionamento Multimodale: Dall'Ottimizzazione dell'Avvio a Freddo all'Apprendimento per Rinforzo a Stadi

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

June 4, 2025

Autori: Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

cs.AI

Abstract

Ispirati dalle straordinarie capacità di ragionamento di Deepseek-R1 in compiti testuali complessi, molti lavori tentano di incentivare capacità simili nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) applicando direttamente il reinforcement learning (RL). Tuttavia, questi sforzi continuano a incontrare difficoltà nell'attivare un ragionamento complesso. In questo articolo, piuttosto che esaminare il RL multimodale in isolamento, approfondiamo le pipeline di addestramento attuali e identifichiamo tre fenomeni cruciali: 1) Un'inizializzazione efficace a freddo è fondamentale per migliorare il ragionamento degli MLLM. Curiosamente, scopriamo che inizializzare con dati testuali selezionati con cura può portare a prestazioni che superano molti recenti modelli di ragionamento multimodale, anche prima del RL multimodale. 2) Il GRPO standard applicato al RL multimodale soffre di stagnazione del gradiente, che degrada la stabilità e le prestazioni dell'addestramento. 3) Un successivo addestramento RL solo su testo, dopo la fase di RL multimodale, migliora ulteriormente il ragionamento multimodale. Questo approccio di addestramento a fasi bilancia efficacemente lo sviluppo della percezione e del ragionamento cognitivo. Incorporando le suddette intuizioni e affrontando i problemi del RL multimodale, introduciamo ReVisual-R1, raggiungendo un nuovo stato dell'arte tra gli MLLM open-source da 7B su benchmark impegnativi come MathVerse, MathVision, WeMath, LogicVista, DynaMath, e le sfide AIME2024 e AIME2025.

English

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.