Fortschritte im multimodalen Denken: Vom optimierten Kaltstart zum gestuften Reinforcement Learning

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

June 4, 2025

Autoren: Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

cs.AI

Zusammenfassung

Inspiriert von den bemerkenswerten Fähigkeiten von Deepseek-R1 bei komplexen textbasierten Aufgaben, versuchen viele Arbeiten, ähnliche Fähigkeiten in Multimodalen Großen Sprachmodellen (MLLMs) zu fördern, indem sie direkt Verstärkungslernen (Reinforcement Learning, RL) anwenden. Dennoch gelingt es ihnen oft nicht, komplexes Denken zu aktivieren. In diesem Papier untersuchen wir nicht nur multimodales RL isoliert, sondern tauchen tiefer in aktuelle Trainingspipeline ein und identifizieren drei entscheidende Phänomene: 1) Eine effektive Cold-Start-Initialisierung ist entscheidend, um das Denkvermögen von MLLMs zu verbessern. Interessanterweise stellen wir fest, dass die Initialisierung mit sorgfältig ausgewählten Textdaten allein zu einer Leistung führen kann, die viele aktuelle multimodale Denkmodelle übertrifft, noch bevor multimodales RL eingesetzt wird. 2) Standard-GRPO, das auf multimodales RL angewendet wird, leidet unter Gradientenstagnation, was die Trainingsstabilität und Leistung beeinträchtigt. 3) Ein anschließendes textbasiertes RL-Training, das auf die multimodale RL-Phase folgt, verbessert das multimodale Denken weiter. Dieser gestufte Trainingsansatz balanciert effektiv die Wahrnehmungsverankerung und die Entwicklung kognitiven Denkens. Durch die Einbeziehung der oben genannten Erkenntnisse und die Lösung von Problemen im multimodalen RL führen wir ReVisual-R1 ein, das einen neuen State-of-the-art unter den Open-Source-7B-MLLMs auf anspruchsvollen Benchmarks wie MathVerse, MathVision, WeMath, LogicVista, DynaMath sowie den herausfordernden AIME2024 und AIME2025 erreicht.

English

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.