Vision-R1: マルチモーダル大規模言語モデルにおける推論能力の促進

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

March 9, 2025

著者: Wenxuan Huang, Bohan Jia, Zijie Zhai, Shaosheng Cao, Zheyu Ye, Fei Zhao, Yao Hu, Shaohui Lin

cs.AI

要旨

DeepSeek-R1-Zeroは、純粋に強化学習（RL）を通じて大規模言語モデル（LLM）に推論能力が出現することを実証しました。このブレークスルーに触発され、我々はRLを活用してマルチモーダル言語モデル（MLLM）の推論能力を向上させる方法を探求しています。しかし、高品質なマルチモーダル推論データの不足により、RLを用いた直接的なトレーニングでは、MLLMにおける質問や反省などの複雑な推論能力を活性化することが困難です。この問題に対処するため、我々は推論MLLMであるVision-R1を提案し、マルチモーダル推論能力を向上させます。具体的には、既存のMLLMとDeepSeek-R1を活用し、モダリティブリッジングとデータフィルタリングを通じて、人間の注釈なしで高品質なマルチモーダルCoTデータセットを構築し、200KのマルチモーダルCoTデータセットであるVision-R1-coldデータセットを取得します。これはVision-R1のコールドスタート初期化データとして機能します。コールドスタート後の過剰思考による最適化の課題を緩和するため、我々はProgressive Thinking Suppression Training（PTST）戦略を提案し、Group Relative Policy Optimization（GRPO）とハードフォーマット結果報酬関数を用いて、10Kのマルチモーダル数学データセット上でモデルが正しく複雑な推論プロセスを学習する能力を徐々に洗練させます。包括的な実験により、我々のモデルが様々なマルチモーダル数学推論ベンチマークで平均6%の改善を達成することが示されました。Vision-R1-7Bは、広く使用されているMathVistaベンチマークで73.5%の精度を達成し、これは主要な推論モデルであるOpenAI O1にわずか0.4%劣る結果です。データセットとコードは以下で公開されます：https://github.com/Osilly/Vision-R1

English

DeepSeek-R1-Zero has successfully demonstrated the emergence of reasoning capabilities in LLMs purely through Reinforcement Learning (RL). Inspired by this breakthrough, we explore how RL can be utilized to enhance the reasoning capability of MLLMs. However, direct training with RL struggles to activate complex reasoning capabilities such as questioning and reflection in MLLMs, due to the absence of substantial high-quality multimodal reasoning data. To address this issue, we propose the reasoning MLLM, Vision-R1, to improve multimodal reasoning capability. Specifically, we first construct a high-quality multimodal CoT dataset without human annotations by leveraging an existing MLLM and DeepSeek-R1 through modality bridging and data filtering to obtain a 200K multimodal CoT dataset, Vision-R1-cold dataset. It serves as cold-start initialization data for Vision-R1. To mitigate the optimization challenges caused by overthinking after cold start, we propose Progressive Thinking Suppression Training (PTST) strategy and employ Group Relative Policy Optimization (GRPO) with the hard formatting result reward function to gradually refine the model's ability to learn correct and complex reasoning processes on a 10K multimodal math dataset. Comprehensive experiments show our model achieves an average improvement of sim6% across various multimodal math reasoning benchmarks. Vision-R1-7B achieves a 73.5% accuracy on the widely used MathVista benchmark, which is only 0.4% lower than the leading reasoning model, OpenAI O1. The datasets and code will be released in: https://github.com/Osilly/Vision-R1 .