Open Vision Reasoner: 言語的認知行動の転移による視覚的推論

要旨

大規模言語モデル（LLMs）の驚異的な推論能力は、検証可能な報酬による強化を通じて現れる認知行動に由来します。本研究では、この原理をマルチモーダルLLMs（MLLMs）に転移させ、高度な視覚推論を解き放つ方法を探ります。Qwen2.5-VL-7Bを基盤とした2段階のパラダイムを導入しました：大規模な言語的コールドスタートのファインチューニングに続き、約1,000ステップにわたるマルチモーダル強化学習（RL）を行い、これまでのオープンソースの取り組みを規模で凌駕しました。この先駆的な研究は、以下の3つの基本的な洞察を明らかにしています：1）言語的メンタルイメージングにより、コールドスタートの初期段階で驚くほど早く行動転移が現れる。2）コールドスタートは視覚行動を広く記憶するが、RLは効果的なパターンを批判的に識別し、スケールアップする。3）転移は、視覚的反射などの高効用行動を戦略的に優先する。結果として得られたモデル、Open-Vision-Reasoner（OVR）は、MATH500で95.3%、MathVisionで51.8%、MathVerseで54.6%という、一連の推論ベンチマークで最先端の性能を達成しました。より能力が高く、行動に整合したマルチモーダル推論モデルの開発を促進するため、モデル、データ、およびトレーニングダイナミクスを公開します。

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.

Open Vision Reasoner: 言語的認知行動の転移による視覚的推論

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

要旨

Support