OpenVLThinkerV2：マルチドメイン視覚タスクのための汎用マルチモーダル推論モデル

要旨

Group Relative Policy Optimization（GRPO）は、マルチモーダル大規模言語モデルの近年の進歩を支える事実上の強化学習（RL）目標として登場した。しかし、この成功をオープンソースのマルチモーダル汎用モデルに拡張することは、主に二つの課題によって大きく制約されている。すなわち、多様な視覚タスク間での報酬トポロジーの極端な分散と、細粒度の知覚と多段階の推論能力のバランスをとることの本質的な難しさである。これらの問題に対処するため、我々はガウシアンGRPO（G^2RPO）と呼ばれる新しいRL訓練目標を提案する。これは標準的な線形スケーリングを非線形の分布マッチングで置き換えるものである。任意のタスクのアドバンテージ分布が標準正規分布N(0,1)に厳密に収束することを数学的に強制することにより、G^2RPOは理論的に、タスク間の勾配公平性を保証し、裾の重い外れ値への脆弱性を軽減し、正負の報酬に対して対称的な更新を提供する。G^2RPOによってもたらされる強化された訓練安定性を活用して、我々は知覚と推論をシームレスにバランスさせる二つのタスクレベルのシェーピング機構を導入する。第一に、応答長シェーピングは、複雑なクエリに対して動的に推論連鎖を引き出しつつ、視覚的接地を強化するための直接的な出力を強制する。第二に、エントロピーシェーピングはモデルの探索領域を厳密に制限し、エントロピー崩壊とエントロピー爆発の両方を効果的に防止する。これらの方法論を統合し、我々は非常に堅牢な汎用マルチモーダルモデルであるOpenVLThinkerV2を提示する。18の多様なベンチマークによる広範な評価は、強力なオープンソースモデルおよび主要なプロプライエタリなフロンティアモデルを上回るその優れた性能を実証している。

English

Group Relative Policy Optimization (GRPO) has emerged as the de facto Reinforcement Learning (RL) objective driving recent advancements in Multimodal Large Language Models. However, extending this success to open-source multimodal generalist models remains heavily constrained by two primary challenges: the extreme variance in reward topologies across diverse visual tasks, and the inherent difficulty of balancing fine-grained perception with multi-step reasoning capabilities. To address these issues, we introduce Gaussian GRPO (G^2RPO), a novel RL training objective that replaces standard linear scaling with non-linear distributional matching. By mathematically forcing the advantage distribution of any given task to strictly converge to a standard normal distribution, N(0,1), G^2RPO theoretically ensures inter-task gradient equity, mitigates vulnerabilities to heavy-tail outliers, and offers symmetric update for positive and negative rewards. Leveraging the enhanced training stability provided by G^2RPO, we introduce two task-level shaping mechanisms to seamlessly balance perception and reasoning. First, response length shaping dynamically elicits extended reasoning chains for complex queries while enforce direct outputs to bolster visual grounding. Second, entropy shaping tightly bounds the model's exploration zone, effectively preventing both entropy collapse and entropy explosion. Integrating these methodologies, we present OpenVLThinkerV2, a highly robust, general-purpose multimodal model. Extensive evaluations across 18 diverse benchmarks demonstrate its superior performance over strong open-source and leading proprietary frontier models.

OpenVLThinkerV2：マルチドメイン視覚タスクのための汎用マルチモーダル推論モデル

OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks

要旨

Support