アノテーションをロールアウトとして用いる：ビデオMLLMのための効率的かつスケーラブルな強化学習

要旨

マルチモーダル大規模言語モデル（MLLM）は、統合的な映像知覚の主流パラダイムとなっている。しかしながら、大規模マルチタスクデータセットに対するポストトレーニングは依然として困難であり、既存の強化学習手法では、高コストなチェーン・オブ・ソート（CoT）生成を用いても、高品質なロールアウトがほとんどないオン・ポリシーグループをサンプリングするにとどまる。本論文では、映像MLLMに対するRLポストトレーニングのサンプル効率とスケーラビリティを研究し、OraRLを提案する。我々は、アノテーションの見落とされていた役割を明らかにする。すなわち、アノテーションはロールアウトのスコアリングに加えて、各アノテーションがオラクルロールアウトとして自身のオン・ポリシーグループに参加し、直接的な正の最適化目標となり得る。しかし、オラクルを直接統合することは自明ではない。高報酬オラクルはグループのベースラインを引き上げ、そうでなければ正となるポリシーアドバンテージを反転させる。この障害を我々はアドバンテージ反転と呼ぶ。OraRLの中核は分離されたアドバンテージ推定器であり、ポリシーロールアウトがオラクルなしのベースラインを決定し、オラクルとポリシーのギャップが方向ゲインと、それとは別の切り離されたオラクルアドバンテージの両方を調整する。符号バランスの取れた枝刈りは効率を改善し、オラクルと正負の各符号の最強ロールアウトのみを保持することで、OraRLはSFTのステップ時間のわずか2.2倍しか必要とせず、CoTを伴うGRPOが必要とする4.9倍の半分以下である。OraRLはモデルサイズとデータに応じてスケールし、0.8Bから9Bまでのバックボーンと、10万プロンプトまでのGRPOを凌駕する。チェーン・オブ・ソートを用いない場合、Video-ORA-9Bは4780ミリ秒の代わりに130ミリ秒でデコードする。Video-ORA-9Bは、各従来の最良モデルと比較して、時間的mIoUを62.5から66.0へ、トラッキングAOを73.0から78.2へ、セグメンテーションを64.3から70.4へ、そして3ベンチマークの空間知能マクロ平均を51.0から56.1へ引き上げる。VSI-Benchでは、GPT-5の55.0、Gemini-3-Proの55.1に対して73.1を記録する。

English

Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.