R-4B: バイモードアニーリングと強化学習によるMLLMの汎用自動思考能力の促進

R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning

August 28, 2025

著者: Jie Jiang, Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng

cs.AI

要旨

段階的思考能力を備えたマルチモーダル大規模言語モデル（MLLM）は、複雑な推論問題において顕著な性能を発揮することが実証されています。しかし、この思考プロセスは、複雑な推論を必要としない単純な問題に対しては冗長です。この非効率性を解決するため、我々はR-4Bという自動思考MLLMを提案します。R-4Bは、問題の複雑さに基づいて適応的に思考を開始するかどうかを決定できます。R-4Bの中心的なアイデアは、バイモードアニーリングを使用してモデルに思考モードと非思考モードの両方の能力を与え、Bi-mode Policy Optimization（BPO）を適用して、思考プロセスを活性化するかどうかを判断するモデルの精度を向上させることです。具体的には、まず、思考モードと非思考モードの両方のサンプルを含む、さまざまなトピックにわたる慎重に選ばれたデータセットでモデルを訓練します。その後、改良されたGRPOフレームワークの下で第二段階の訓練を行い、ポリシーモデルが各入力クエリに対して両方のモードから応答を生成することを強制します。実験結果は、R-4Bが25の挑戦的なベンチマークで最先端の性能を達成することを示しています。R-4Bは、ほとんどのタスクでQwen2.5-VL-7Bを上回り、推論集約型のベンチマークでは、Kimi-VL-A3B-Thinking-2506（16B）のような大規模モデルと同等の性能を、より低い計算コストで達成します。

English

Multimodal Large Language Models (MLLMs) equipped with step-by-step thinking capabilities have demonstrated remarkable performance on complex reasoning problems. However, this thinking process is redundant for simple problems solvable without complex reasoning. To address this inefficiency, we propose R-4B, an auto-thinking MLLM, which can adaptively decide when to think based on problem complexity. The central idea of R-4B is to empower the model with both thinking and non-thinking capabilities using bi-mode annealing, and apply Bi-mode Policy Optimization~(BPO) to improve the model's accuracy in determining whether to activate the thinking process. Specifically, we first train the model on a carefully curated dataset spanning various topics, which contains samples from both thinking and non-thinking modes. Then it undergoes a second phase of training under an improved GRPO framework, where the policy model is forced to generate responses from both modes for each input query. Experimental results show that R-4B achieves state-of-the-art performance across 25 challenging benchmarks. It outperforms Qwen2.5-VL-7B in most tasks and achieves performance comparable to larger models such as Kimi-VL-A3B-Thinking-2506 (16B) on reasoning-intensive benchmarks with lower computational cost.