Percepção Ativa Nativa como Raciocínio para Compreensão Omnimodal

Resumo

Modelos passivos para compreensão de vídeos longos geralmente dependem de um paradigma "assistir-tudo", processando quadros uniformemente independentemente da dificuldade da consulta, fazendo com que o custo computacional cresça com a duração do vídeo. Embora estruturas interativas tenham surgido, elas frequentemente dependem de pré-varredura global e seu custo de contexto ainda escala com o comprimento do vídeo. Propomos o OmniAgent, o primeiro agente omni-modal nativo que formula a compreensão de vídeos como um ciclo iterativo Observação-Pensamento-Ação baseado em POMDP. O OmniAgent executa ações sob demanda para destilar seletivamente pistas audiovisuais em uma memória textual persistente, efetivamente desacoplando a complexidade do raciocínio da duração bruta do vídeo. Para operacionalizar isso, introduzimos (1) Ajuste Fino Supervisionado Agêntico para inicializar a percepção ativa nativa por meio de síntese de trajetórias best-of-N com controle de qualidade em duas etapas, e (2) Aprendizado por Reforço Agêntico com TAURA (Vantagem Rescalada por Incerteza Adaptativa Sensível ao Turno), que utiliza entropia em nível de turno para direcionar a atribuição de crédito para turnos de descoberta cruciais. Crucialmente, o OmniAgent apresenta escalonamento positivo em tempo de teste, onde o desempenho melhora à medida que o número de turnos de raciocínio aumenta, validando a eficácia da percepção ativa. Resultados empíricos em dez benchmarks (por exemplo, VideoMME, LVBench) demonstram que o OmniAgent alcança desempenho de estado da arte entre modelos de código aberto. Notavelmente, no LVBench, nosso agente de 7B supera o Qwen2.5-VL-72B, que é 10 vezes maior (50,5% contra 47,3%).

English

Passive models for long video understanding typically rely on a "watch-it-all" paradigm, processing frames uniformly regardless of query difficulty, causing computational cost to grow with video duration. Although interactive frameworks have emerged, they often rely on global pre-scanning, and their context cost still scales with video length. We propose OmniAgent, the first native omni-modal agent that formulates video understanding as a POMDP-based iterative Observation-Thought-Action cycle. OmniAgent executes on-demand actions to selectively distill audio-visual cues into a persistent textual memory, effectively decoupling reasoning complexity from raw video duration. To operationalize this, we introduce (1) Agentic Supervised Fine-Tuning to bootstrap native active perception via best-of-N trajectory synthesis with dual-stage quality control, and (2) Agentic Reinforcement Learning with TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage), which leverages turn-level entropy to steer credit assignment toward pivotal discovery turns. Crucially, OmniAgent exhibits positive test-time scaling, where performance improves as the number of reasoning turns increases, validating the efficacy of active perception. Empirical results across ten benchmarks (e.g., VideoMME, LVBench) demonstrate that OmniAgent achieves state-of-the-art performance among open-source models. Notably, on LVBench, our 7B agent outperforms the 10times larger Qwen2.5-VL-72B (50.5% vs. 47.3%).