Percepção Ativa em Vídeo: Busca Iterativa por Evidências para a Compreensão de Vídeos Longos por Agentes
Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding
December 5, 2025
Autores: Ziyang Wang, Honglu Zhou, Shijie Wang, Junnan Li, Caiming Xiong, Silvio Savarese, Mohit Bansal, Michael S. Ryoo, Juan Carlos Niebles
cs.AI
Resumo
A compreensão de vídeos longos (LVU) é desafiadora porque responder a consultas do mundo real frequentemente depende de pistas esparsas e temporalmente dispersas enterradas em horas de conteúdo majoritariamente redundante e irrelevante. Embora pipelines agentes melhorem as capacidades de raciocínio em vídeo, os frameworks predominantes dependem de um sistema de legendagem (captioner) independente da consulta para perceber informações do vídeo, o que desperdiça computação em conteúdo irrelevante e desfoca informações temporais e espaciais de granularidade fina. Motivados pela teoria da percepção ativa, argumentamos que os agentes de LVU devem decidir ativamente o quê, quando e onde observar, e avaliar continuamente se a observação atual é suficiente para responder à consulta. Apresentamos a Percepção de Vídeo Ativa (AVP), um framework de busca por evidências que trata o vídeo como um ambiente interativo e adquire evidências compactas e relevantes para a consulta diretamente dos pixels. Concretamente, a AVP executa um processo iterativo de planejar-observar-refletir com agentes MLLM. Em cada rodada, um planejador propõe interações específicas com o vídeo, um observador as executa para extrair evidências com carimbo de tempo, e um refletor avalia a suficiência das evidências para a consulta, parando com uma resposta ou acionando novas observações. Em cinco benchmarks de LVU, a AVP alcança o maior desempenho com melhorias significativas. Notavelmente, a AVP supera o melhor método agente em 5,7% na precisão média, enquanto requer apenas 18,4% do tempo de inferência e 12,4% dos tokens de entrada.
English
Long video understanding (LVU) is challenging because answering real-world queries often depends on sparse, temporally dispersed cues buried in hours of mostly redundant and irrelevant content. While agentic pipelines improve video reasoning capabilities, prevailing frameworks rely on a query-agnostic captioner to perceive video information, which wastes computation on irrelevant content and blurs fine-grained temporal and spatial information. Motivated by active perception theory, we argue that LVU agents should actively decide what, when, and where to observe, and continuously assess whether the current observation is sufficient to answer the query. We present Active Video Perception (AVP), an evidence-seeking framework that treats the video as an interactive environment and acquires compact, queryrelevant evidence directly from pixels. Concretely, AVP runs an iterative plan-observe-reflect process with MLLM agents. In each round, a planner proposes targeted video interactions, an observer executes them to extract time-stamped evidence, and a reflector evaluates the sufficiency of the evidence for the query, either halting with an answer or triggering further observation. Across five LVU benchmarks, AVP achieves highest performance with significant improvements. Notably, AVP outperforms the best agentic method by 5.7% in average accuracy while only requires 18.4% inference time and 12.4% input tokens.