Video-DeepResearch: 차세대 멀티모달 딥리서치 에이전트를 향하여

초록

본 논문에서는 정적 이미지에서 연속 비디오 스트림으로 멀티모달 에이전트를 확장하는 Video-DeepResearch(Video-DR)를 소개한다. 이 설정은 밀집된 시공간적 그라운딩과 개방형 웹 탐색을 동시에 요구한다. 예비 평가는 현재 모델의 두 가지 핵심 병목 현상을 드러낸다: (1) 모달리티 편향, 즉 에이전트가 시각적 도구를 우회하고 텍스트 검색을 선호하는 현상, 그리고 (2) 파라미터 지식 누출, 즉 모델이 실제 도구 기반 실행 대신 내부 메모리에 의존하는 현상이다. 이러한 문제를 해결하기 위해 우리는 웹 검색 전에 프레임 간 철저한 시각적 그라운딩을 강제하는 단계별 도구 잠금 해제를 갖춘 인식-탐색 분리 파이프라인을 특징으로 하는 Video-DR을 제안한다. 우리의 프레임워크는 지도 미세 조정 후 GRPO(Group Relative Policy Optimization)를 적용하는 2단계 훈련 방식을 채택하여 모방 학습의 한계를 넘어서는 자율 탐색을 가능하게 한다. 또한, 우리는 200개의 복잡한 멀티홉 VQA 인스턴스로 구성된 인간-AI 협업 벤치마크인 Video-DR-Bench를 구축한다. 실험 결과, 우리의 Video-DeepResearch-35B-A3B는 평균 정확도 64.0%로 새로운 최고 수준을 달성하여 독점 모델인 Claude-4.5-Sonnet(59.0%)을 5.0포인트 차이로 능가하고 GPT-5(52.5%) 및 Gemini 2.5 Pro(57.5%)를 크게 상회한다. 30B-A3B 변형 모델은 Claude-4.5-Sonnet에 필적하는 59.3%의 정확도를 달성하여, 소형 규모에서도 우리의 훈련 패러다임의 효과성을 입증한다. 코드: https://github.com/Osilly/Vision-DeepResearch.

English

We introduce Video-DeepResearch (Video-DR), extending multimodal agents from static images to continuous video streams, a setting that demands dense spatiotemporal grounding coupled with open-web exploration. Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage, where models rely on internal memory rather than genuine tool-augmented execution. To address these challenges, we propose Video-DR, featuring a decoupled perception-exploration pipeline with stage-wise tool unlocking that compels exhaustive cross-frame visual grounding prior to web retrieval. Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO), enabling autonomous exploration that breaks the imitation-learning ceiling. Furthermore, we curate Video-DR-Bench, a human-AI collaborative benchmark comprising 200 complex, multi-hop VQA instances. Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy, surpassing proprietary Claude-4.5-Sonnet (59.0%) by 5.0 points and significantly outperforming GPT-5 (52.5%) and Gemini 2.5 Pro (57.5%). The 30B-A3B variant achieves 59.3%, competitive with Claude-4.5-Sonnet and demonstrating the effectiveness of our training paradigm even at compact scale. Code: https://github.com/Osilly/Vision-DeepResearch.