Percepción activa nativa como razonamiento para la comprensión omni-modal

Resumen

Los modelos pasivos para la comprensión de videos largos típicamente se basan en un paradigma de "ver todo", procesando fotogramas de manera uniforme independientemente de la dificultad de la consulta, lo que provoca que el costo computacional crezca con la duración del video. Aunque han surgido marcos interactivos, a menudo dependen de un pre-escaneo global, y su costo de contexto sigue escalando con la longitud del video. Proponemos OmniAgent, el primer agente omni-modal nativo que formula la comprensión de videos como un ciclo iterativo de Observación-Pensamiento-Acción basado en POMDP. OmniAgent ejecuta acciones bajo demanda para destilar selectivamente señales audiovisuales en una memoria textual persistente, desacoplando efectivamente la complejidad del razonamiento de la duración bruta del video. Para operacionalizar esto, introducimos (1) el Ajuste Fino Supervisado Agéntico para arrancar la percepción activa nativa mediante síntesis de trayectorias best-of-N con control de calidad de doble etapa, y (2) el Aprendizaje por Refuerzo Agéntico con TAURA (Ventaja Re-escalada por Incertidumbre Adaptativa con Conciencia de Turno), que aprovecha la entropía a nivel de turno para dirigir la asignación de crédito hacia turnos de descubrimiento cruciales. De manera crucial, OmniAgent exhibe un escalado positivo en tiempo de prueba, donde el rendimiento mejora a medida que aumenta el número de turnos de razonamiento, validando la eficacia de la percepción activa. Los resultados empíricos en diez puntos de referencia (p. ej., VideoMME, LVBench) demuestran que OmniAgent alcanza un rendimiento de última generación entre los modelos de código abierto. Notablemente, en LVBench, nuestro agente de 7B supera al Qwen2.5-VL-72B, que es 10 veces más grande (50.5% frente a 47.3%).

English

Passive models for long video understanding typically rely on a "watch-it-all" paradigm, processing frames uniformly regardless of query difficulty, causing computational cost to grow with video duration. Although interactive frameworks have emerged, they often rely on global pre-scanning, and their context cost still scales with video length. We propose OmniAgent, the first native omni-modal agent that formulates video understanding as a POMDP-based iterative Observation-Thought-Action cycle. OmniAgent executes on-demand actions to selectively distill audio-visual cues into a persistent textual memory, effectively decoupling reasoning complexity from raw video duration. To operationalize this, we introduce (1) Agentic Supervised Fine-Tuning to bootstrap native active perception via best-of-N trajectory synthesis with dual-stage quality control, and (2) Agentic Reinforcement Learning with TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage), which leverages turn-level entropy to steer credit assignment toward pivotal discovery turns. Crucially, OmniAgent exhibits positive test-time scaling, where performance improves as the number of reasoning turns increases, validating the efficacy of active perception. Empirical results across ten benchmarks (e.g., VideoMME, LVBench) demonstrate that OmniAgent achieves state-of-the-art performance among open-source models. Notably, on LVBench, our 7B agent outperforms the 10times larger Qwen2.5-VL-72B (50.5% vs. 47.3%).