Нативное активное восприятие как рассуждение для омни-модального понимания

Аннотация

Пассивные модели для понимания длинных видео обычно полагаются на парадигму "просмотра всего целиком", обрабатывая кадры единообразно независимо от сложности запроса, что приводит к росту вычислительных затрат с увеличением длительности видео. Хотя и появились интерактивные архитектуры, они часто опираются на глобальное предварительное сканирование, и их контекстные издержки по-прежнему масштабируются с длиной видео. Мы предлагаем OmniAgent — первого нативного омни-модального агента, который формулирует понимание видео как итеративный цикл "наблюдение-мысль-действие" на основе POMDP. OmniAgent выполняет действия по требованию, избирательно дистиллируя аудиовизуальные сигналы в постоянную текстовую память, тем самым эффективно разделяя сложность рассуждений и сырую длительность видео. Для реализации этого мы вводим (1) агентное контролируемое дообучение для инициализации нативного активного восприятия через синтез траекторий Best-of-N с двухуровневым контролем качества и (2) агентное обучение с подкреплением на основе TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage — преимущество с адаптивной перемасштабированной неопределённостью, учитывающее ходы). Оно использует энтропию на уровне ходов для направления назначения кредитов в сторону ключевых исследовательских ходов. Ключевой момент: OmniAgent демонстрирует положительное масштабирование на этапе тестирования, когда производительность улучшается с увеличением числа шагов рассуждений, что подтверждает эффективность активного восприятия. Эмпирические результаты на десяти бенчмарках (например, VideoMME, LVBench) показывают, что OmniAgent достигает передовой производительности среди моделей с открытым исходным кодом. Примечательно, что на LVBench наш агент с 7 миллиардами параметров превосходит в 10 раз более крупную Qwen2.5-VL-72B (50.5% против 47.3%).

English

Passive models for long video understanding typically rely on a "watch-it-all" paradigm, processing frames uniformly regardless of query difficulty, causing computational cost to grow with video duration. Although interactive frameworks have emerged, they often rely on global pre-scanning, and their context cost still scales with video length. We propose OmniAgent, the first native omni-modal agent that formulates video understanding as a POMDP-based iterative Observation-Thought-Action cycle. OmniAgent executes on-demand actions to selectively distill audio-visual cues into a persistent textual memory, effectively decoupling reasoning complexity from raw video duration. To operationalize this, we introduce (1) Agentic Supervised Fine-Tuning to bootstrap native active perception via best-of-N trajectory synthesis with dual-stage quality control, and (2) Agentic Reinforcement Learning with TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage), which leverages turn-level entropy to steer credit assignment toward pivotal discovery turns. Crucially, OmniAgent exhibits positive test-time scaling, where performance improves as the number of reasoning turns increases, validating the efficacy of active perception. Empirical results across ten benchmarks (e.g., VideoMME, LVBench) demonstrate that OmniAgent achieves state-of-the-art performance among open-source models. Notably, on LVBench, our 7B agent outperforms the 10times larger Qwen2.5-VL-72B (50.5% vs. 47.3%).