Percepción Activa de Video: Búsqueda Iterativa de Evidencia para la Comprensión Agéntica de Videos Largos
Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding
December 5, 2025
Autores: Ziyang Wang, Honglu Zhou, Shijie Wang, Junnan Li, Caiming Xiong, Silvio Savarese, Mohit Bansal, Michael S. Ryoo, Juan Carlos Niebles
cs.AI
Resumen
La comprensión de videos largos (LVU) es un desafío porque responder consultas del mundo real a menudo depende de indicios dispersos y temporalmente distribuidos, enterrados en horas de contenido mayormente redundante e irrelevante. Si bien las arquitecturas de agentes mejoran las capacidades de razonamiento sobre videos, los marcos predominantes dependen de un sistema de descripción (captioner) independiente de la consulta para percibir la información del video, lo que desperdicia recursos computacionales en contenido irrelevante y difumina la información temporal y espacial de grano fino. Motivados por la teoría de la percepción activa, argumentamos que los agentes de LVU deben decidir activamente qué, cuándo y dónde observar, y evaluar continuamente si la observación actual es suficiente para responder la consulta. Presentamos Percepción Activa de Video (AVP), un marco de búsqueda de evidencias que trata el video como un entorno interactivo y adquiere evidencias compactas y relevantes para la consulta directamente desde los píxeles. Concretamente, AVP ejecuta un proceso iterativo de planificar-observar-reflexionar con agentes MLLM. En cada ronda, un planificador propone interacciones específicas con el video, un observador las ejecuta para extraer evidencias con marca de tiempo, y un reflector evalúa la suficiencia de la evidencia para la consulta, deteniéndose con una respuesta o activando una nueva observación. En cinco benchmarks de LVU, AVP logra el mayor rendimiento con mejoras significativas. Notablemente, AVP supera al mejor método basado en agentes en un 5.7% de precisión promedio, mientras que solo requiere el 18.4% del tiempo de inferencia y el 12.4% de los tokens de entrada.
English
Long video understanding (LVU) is challenging because answering real-world queries often depends on sparse, temporally dispersed cues buried in hours of mostly redundant and irrelevant content. While agentic pipelines improve video reasoning capabilities, prevailing frameworks rely on a query-agnostic captioner to perceive video information, which wastes computation on irrelevant content and blurs fine-grained temporal and spatial information. Motivated by active perception theory, we argue that LVU agents should actively decide what, when, and where to observe, and continuously assess whether the current observation is sufficient to answer the query. We present Active Video Perception (AVP), an evidence-seeking framework that treats the video as an interactive environment and acquires compact, queryrelevant evidence directly from pixels. Concretely, AVP runs an iterative plan-observe-reflect process with MLLM agents. In each round, a planner proposes targeted video interactions, an observer executes them to extract time-stamped evidence, and a reflector evaluates the sufficiency of the evidence for the query, either halting with an answer or triggering further observation. Across five LVU benchmarks, AVP achieves highest performance with significant improvements. Notably, AVP outperforms the best agentic method by 5.7% in average accuracy while only requires 18.4% inference time and 12.4% input tokens.