V-Rubrics: ルーブリックに基づく強化学習による視覚的忠実性

要旨

視覚言語モデルは、視覚的証拠に十分に根拠付けられていない流暢な回答を生成することがあります。裏付けのない物体、チャートの数値、中間推論が一つ含まれるだけで、それ以外は妥当と思われる回答が損なわれる可能性があります。我々は、これがマルチモーダル事後訓練におけるクレジット割り当て（credit assignment）の失敗であると論じます。スカラー結果報酬は回答が許容可能かどうかを示すものの、どの視覚的事実が根拠付けられているか、どの推論ステップが有効か、どの指示制約が見落とされているかを特定しません。我々は、参照回答を原子命題に分解し、生成された回答を視覚的忠実性（VF: Visual Faithfulness）、推論整合性（RC: Reasoning Consistency）、指示追従（IF: Instruction Following）に沿って評価する、視覚的ルーブリックに基づく強化学習（Visual Rubrics-Based Reinforcement Learning）を導入します。得られたルーブリック項目は構造化された部分点を提供し、裏付けとなるエビデンススパンが利用可能な場合には、ルーブリッククレジットを局所化します。まず、公開されているOpenMMReasoner-SFT-874Kコーパス上でQwen3-VL-8B-Instructをファインチューニングし、OpenMMReasonerのコールドスタートデータレシピを適用してSFTチェックポイントを取得します。次に、17の視覚的根拠に基づくソースから50,248例のトレーニングセットであるV-Rubrics 50Kを構築します。具体的には、ルールベースのフィルタを適用した後、拒否サンプリングスコアから各例の難易度を導出し、その後、すべての例を同一の構造化プロンプトとプロトコルの下でGemini-3-Proを用いてアノテーションします。さらに、同じSFTチェックポイントに基づき、要素別・接頭辞局所化型のルーブリッククレジットを用いてモデルを訓練します。実験の結果、ルーブリックベースのGRPOは、共通のSFTベースラインと回答のみのGRPOの両方を上回り、特に知識指向型および視覚的根拠に基づく推論ベンチマークで最大の向上を示しました。これらの結果は、ルーブリックが視覚的事後訓練における有用な報酬抽象化であることを示しています。

English

Vision-language models can produce fluent answers that are insufficiently grounded in the visual evidence: a single unsupported object, chart value, or intermediate inference can undermine an otherwise plausible response. We argue that this is a credit-assignment failure in multimodal post-training. Scalar outcome rewards indicate whether an answer is acceptable, but do not identify which visual facts are grounded, which reasoning steps are valid, or which instruction constraints are missed. We introduce Visual Rubrics-Based Reinforcement Learning, which decomposes reference responses into atomic propositions and scores generated answers along Visual Faithfulness (VF), Reasoning Consistency (RC), and Instruction Following (IF). The resulting rubric items provide structured partial credit and localize rubric credit when supporting evidence spans are available. We first obtain an SFT checkpoint by fine-tuning Qwen3-VL-8B-Instruct on the public OpenMMReasoner-SFT-874K corpus, adapting OpenMMReasoner's cold-start data recipe. We construct V-Rubrics 50K, a 50,248-example training set from 17 visually grounded sources, by applying rule-based filters before deriving example difficulty from rejection-sampling scores and then annotating every example with Gemini-3-Pro under the same structured prompt and protocol. We train our model based on the same SFT checkpoint using component-wise, prefix-localized rubric credit. Experiments show that our rubricbased GRPO improves over both the shared SFT baseline and answer-only GRPO, with the largest gains on knowledge-oriented and visually grounded reasoning benchmarks. The results show rubrics as a useful reward abstraction for visual post-training.