Развитие мультимодального мышления: от оптимизированного "холодного старта" до поэтапного обучения с подкреплением

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

June 4, 2025

Авторы: Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

cs.AI

Аннотация

Вдохновленные впечатляющими способностями модели Deepseek-R1 к рассуждениям в сложных текстовых задачах, многие исследования пытаются стимулировать аналогичные возможности в мультимодальных больших языковых моделях (MLLM), напрямую применяя обучение с подкреплением (RL). Однако они по-прежнему сталкиваются с трудностями в активации сложных рассуждений. В данной работе, вместо изолированного рассмотрения мультимодального RL, мы углубляемся в текущие конвейеры обучения и выделяем три ключевых явления: 1) Эффективная инициализация "холодного старта" критически важна для улучшения рассуждений в MLLM. Интересно, что мы обнаружили, что инициализация с использованием тщательно отобранных текстовых данных может привести к результатам, превосходящим многие недавние модели мультимодальных рассуждений, даже до применения мультимодального RL. 2) Стандартный GRPO, применяемый в мультимодальном RL, страдает от застоя градиентов, что ухудшает стабильность и производительность обучения. 3) Последующее обучение RL только на текстовых данных, следующее за фазой мультимодального RL, дополнительно улучшает мультимодальные рассуждения. Такой поэтапный подход к обучению эффективно балансирует развитие перцептивного заземления и когнитивных рассуждений. Включая вышеуказанные инсайты и решая проблемы мультимодального RL, мы представляем ReVisual-R1, достигающую нового уровня передовых результатов среди открытых 7B MLLM на сложных бенчмарках, включая MathVerse, MathVision, WeMath, LogicVista, DynaMath, а также сложные AIME2024 и AIME2025.

English

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.