Orquestación de herramientas consciente de la confianza para una comprensión robusta de video

Resumen

Los modelos de razonamiento basados en video asumen implícitamente que cada fotograma de entrada es igualmente fiable. Esto conduce a lo que denominamos el Problema de Confianza Ciega: bajo perturbaciones realistas como desenfoque de movimiento, destellos lumínicos u oclusiones, los modelos de razonamiento de video de frontera pueden sufrir caídas de precisión de 15 a 30 puntos porcentuales en benchmarks encarnados del mundo real, sin ser conscientes de que la evidencia visual se ha degradado. Para abordar este desafío, proponemos Robust-TO, un marco de comprensión de video agentivo que integra explícitamente la fiabilidad por fotograma en cada etapa del razonamiento. Robust-TO organiza herramientas heterogéneas de percepción visual bajo una interfaz de evidencia unificada. Cada herramienta recibe una subconsulta derivada de la pregunta original y un conjunto de fotogramas fiables seleccionados mediante la puntuación de fiabilidad-relevancia. Devuelve evidencia en un formato compartido: una predicción concreta (p. ej., un cuadro delimitador, una trayectoria de movimiento, texto reconocido o una etiqueta de acción), un anclaje temporal y una puntuación de fiabilidad calibrada. Durante el razonamiento, estas puntuaciones calibradas guían la ponderación de la evidencia en un proceso de síntesis de tres niveles (alto/medio/bajo) y definen una recompensa GRPO de costo-confianza que optimiza conjuntamente la corrección, la fiabilidad de la evidencia y la eficiencia. En dos benchmarks de razonamiento de video que abarcan ocho tareas, Robust-TO alcanza un 56.4% de precisión media en entradas limpias, superando al mejor baseline de código abierto en 10.6 puntos porcentuales y superando a Gemini-2.5-Pro (46.2%). Bajo cinco tipos de corrupción realistas, Robust-TO mantiene un 54.3% de precisión media, 5.8 puntos porcentuales por encima del mejor baseline de código abierto, y exhibe la menor caída de precisión entre entradas limpias y corruptas de todos los métodos comparados.

English

Video reasoning language models implicitly assume that every input frame is equally reliable. This leads to what we term the Blind Trust Problem: under realistic perturbations such as motion blur, glare, or occlusion, frontier video reasoning models can suffer 15-30%p accuracy drops on real-world embodied benchmarks, while remaining unaware that their visual evidence has been degraded. To address this challenge, we propose Robust-TO, an agentic video understanding framework that explicitly integrates per-frame trustworthiness into every stage of reasoning. Robust-TO organizes heterogeneous visual perception tools under a unified evidence interface. Each tool receives a sub-query derived from the original question and a set of trustworthy frames selected by the reliability-relevance score. It returns evidence in a shared format: a concrete prediction (e.g., a bounding box, motion trajectory, recognized text, or action label), temporal grounding, and a calibrated reliability score. During reasoning, these calibrated scores guide evidence weighting in a three-tier synthesis process (high/medium/low) and define a confidence-cost GRPO reward that jointly optimizes correctness, evidence reliability, and efficiency. On two video reasoning benchmarks spanning eight tasks, Robust-TO achieves 56.4% average accuracy on clean inputs, surpassing the strongest open-source baseline by 10.6%p and outperforming Gemini-2.5-Pro (46.2%). Under five realistic corruption types, Robust-TO maintains 54.3% average accuracy, 5.8%p above the strongest open-source baseline, while exhibiting the smallest clean-to-corrupted accuracy drop among all compared methods.