Vooruitgang in Multimodale Redenering: Van Geoptimaliseerde Koude Start tot Gefaseerd Reinforcement Learning

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

June 4, 2025

Auteurs: Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

cs.AI

Samenvatting

Geïnspireerd door de opmerkelijke redeneervaardigheden van Deepseek-R1 in complexe tekstuele taken, proberen veel werken vergelijkbare capaciteiten te stimuleren in Multimodale Grote Taalmodellen (MLLMs) door direct reinforcement learning (RL) toe te passen. Ze hebben echter nog steeds moeite om complex redeneren te activeren. In dit artikel onderzoeken we niet alleen multimodale RL in isolatie, maar duiken we in de huidige trainingspijplijnen en identificeren we drie cruciale fenomenen: 1) Effectieve cold start-initialisatie is essentieel voor het verbeteren van MLLM-redenering. Interessant genoeg ontdekken we dat initialisatie met zorgvuldig geselecteerde tekstgegevens alleen al kan leiden tot prestaties die veel recente multimodale redeneermodellen overtreffen, zelfs vóór multimodale RL. 2) Standaard GRPO toegepast op multimodale RL lijdt onder gradientstagnatie, wat de trainingsstabiliteit en prestaties aantast. 3) Vervolg RL-training met alleen tekst, na de multimodale RL-fase, verbetert de multimodale redenering verder. Deze gefaseerde trainingsaanpak balanceert effectief perceptuele verankering en cognitieve redeneerontwikkeling. Door de bovenstaande inzichten te incorporeren en problemen met multimodale RL aan te pakken, introduceren we ReVisual-R1, dat een nieuwe state-of-the-art bereikt onder open-source 7B MLLMs op uitdagende benchmarks, waaronder MathVerse, MathVision, WeMath, LogicVista, DynaMath, en de uitdagende AIME2024 en AIME2025.

English

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.