주석을 롤아웃으로: 비디오 MLLM을 위한 효율적이고 확장 가능한 강화학습

초록

멀티모달 대규모 언어 모델(MLLM)은 통합 비디오 인식을 위한 지배적인 패러다임이 되었다. 그러나 대규모 멀티태스크 데이터셋에 대한 사후 학습은 여전히 어려운 과제로 남아 있는데, 기존 강화 학습 방법들은 비용이 많이 드는 사고 사슬(CoT) 생성에도 불구하고 고품질 롤아웃이 거의 없는 온-폴리시 그룹을 샘플링하기 때문이다. 본 논문에서는 비디오 MLLM을 위한 RL 사후 학습의 샘플 효율성과 확장성을 연구하고 OraRL을 소개한다. 우리는 어노테이션의 간과된 역할을 발견한다. 즉, 각 어노테이션은 롤아웃을 점수화하는 것 외에도 오라클 롤아웃으로서 자신의 온-폴리시 그룹에 포함되어 직접적인 긍정적 최적화 대상이 될 수 있다. 그러나 직접적인 오라클 통합은 사소하지 않다. 높은 보상의 오라클은 그룹 베이스라인을 높이고, 그렇지 않았다면 긍정적이었을 정책 어드밴티지를 역전시키며, 우리는 이러한 실패를 어드밴티지 역전이라 부른다. OraRL의 핵심에는 분리된 어드밴티지 추정기가 있다. 정책 롤아웃은 오라클이 없는 베이스라인을 결정하고, 오라클-정책 간 격차는 방향성 이득과 별도의 분리된 오라클 어드밴티지를 모두 조정한다. 부호 균형 가지치기는 효율성을 향상시킨다. 오라클과 각 부호에서 가장 강한 롤아웃만 유지함으로써, OraRL은 SFT 스텝 시간의 2.2배만을 요구하며, 이는 CoT를 사용하는 GRPO가 요구하는 4.9배의 절반 미만이다. OraRL은 모델 크기와 데이터에 따라 확장되며, 0.8B에서 9B까지의 백본과 최대 100k 프롬프트에서의 GRPO를 능가한다. 사고 사슬 없이 Video-ORA-9B는 4,780ms 대신 130ms에 디코딩한다. 각각의 기존 최고 모델과 비교했을 때, 시간적 mIoU를 62.5에서 66.0으로, 추적 AO를 73.0에서 78.2로, 분할 성능을 64.3에서 70.4로, 그리고 세 벤치마크의 공간 지능 매크로 평균을 51.0에서 56.1로 향상시킨다. VSI-Bench에서는 GPT-5의 55.0과 Gemini-3-Pro의 55.1에 비해 73.1을 기록한다.

English

Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.