Video-DeepResearch: 次世代マルチモーダル・ディープリサーチエージェントに向けて

要旨

本稿では、マルチモーダルエージェントを静止画像から連続ビデオストリームへと拡張するVideo-DeepResearch（Video-DR）を紹介する。この設定では、オープンウェブ探索と組み合わされた高密度な時空間グラウンディングが要求される。予備評価により、現在のモデルにおける2つの重大なボトルネックが明らかになった：(1) モダリティバイアス—エージェントが視覚ツールを回避し、テキスト検索を優先すること、そして(2) パラメトリック知識漏洩—モデルが真のツール拡張実行ではなく内部記憶に依存することである。これらの課題に対処するため、我々はVideo-DRを提案する。これは、ウェブ検索に先立って網羅的なフレーム横断型視覚グラウンディングを強制する段階的ツール解放を備えた、分離型の知覚・探索パイプラインを特徴とする。本フレームワークは、教師ありファインチューニングに続いてグループ相対方策最適化（GRPO）を適用する2段階のトレーニング手法を採用し、模倣学習の限界を打破する自律的探索を実現する。さらに、200件の複雑なマルチホップVQAインスタンスからなる人間-AI協調ベンチマークであるVideo-DR-Benchを構築した。実験結果は、我々のVideo-DeepResearch-35B-A3Bが平均精度64.0%という新たな最先端を確立し、プロプライエタリなClaude-4.5-Sonnet（59.0%）を5.0ポイント上回り、GPT-5（52.5%）およびGemini 2.5 Pro（57.5%）を大幅に凌駕することを実証している。30B-A3Bバリアントは59.3%を達成し、Claude-4.5-Sonnetと競合する性能を示すとともに、コンパクトな規模であっても我々のトレーニングパラダイムの有効性を実証している。コード：https://github.com/Osilly/Vision-DeepResearch。

English

We introduce Video-DeepResearch (Video-DR), extending multimodal agents from static images to continuous video streams, a setting that demands dense spatiotemporal grounding coupled with open-web exploration. Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage, where models rely on internal memory rather than genuine tool-augmented execution. To address these challenges, we propose Video-DR, featuring a decoupled perception-exploration pipeline with stage-wise tool unlocking that compels exhaustive cross-frame visual grounding prior to web retrieval. Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO), enabling autonomous exploration that breaks the imitation-learning ceiling. Furthermore, we curate Video-DR-Bench, a human-AI collaborative benchmark comprising 200 complex, multi-hop VQA instances. Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy, surpassing proprietary Claude-4.5-Sonnet (59.0%) by 5.0 points and significantly outperforming GPT-5 (52.5%) and Gemini 2.5 Pro (57.5%). The 30B-A3B variant achieves 59.3%, competitive with Claude-4.5-Sonnet and demonstrating the effectiveness of our training paradigm even at compact scale. Code: https://github.com/Osilly/Vision-DeepResearch.