Konfidenz-bewusste Tool-Orchestrierung für robustes Videoverständnis

Zusammenfassung

Video-Basierte Reasoning-Sprachmodelle nehmen implizit an, dass jedes Eingabebild gleich zuverlässig ist. Dies führt zu dem von uns als „Problem des blinden Vertrauens“ bezeichneten Phänomen: Unter realistischen Störungen wie Bewegungsunschärfe, Blendung oder Verdeckung können führende Video-Reasoning-Modelle auf realweltlichen Embodied-Benchmarks Genauigkeitseinbußen von 15–30 Prozentpunkten erleiden, während sie nicht erkennen, dass ihre visuelle Evidenz beeinträchtigt wurde. Um dieser Herausforderung zu begegnen, schlagen wir Robust-TO vor, ein agentisches Rahmenwerk für das Videoverständnis, das die Vertrauenswürdigkeit pro Einzelbild explizit in jede Phase des Reasoning integriert. Robust-TO organisiert heterogene visuelle Wahrnehmungswerkzeuge unter einer einheitlichen Evidenzschnittstelle. Jedes Werkzeug erhält eine aus der ursprünglichen Frage abgeleitete Unterabfrage sowie eine Reihe vertrauenswürdiger Bilder, die anhand des Zuverlässigkeits-Relevanz-Scores ausgewählt wurden. Es liefert Evidenz in einem gemeinsamen Format: eine konkrete Vorhersage (z. B. einen Begrenzungsrahmen, eine Bewegungsbahn, erkannten Text oder eine Handlungsbezeichnung), eine zeitliche Verankerung und einen kalibrierten Zuverlässigkeitsscore. Während des Reasoning-Prozesses steuern diese kalibrierten Scores die Evidenzgewichtung in einem dreistufigen Syntheseprozess (hoch/mittel/niedrig) und definieren einen konfidenzbasierten GRPO-Belohnungsmechanismus, der gleichzeitig Korrektheit, Evidenzzuverlässigkeit und Effizienz optimiert. Auf zwei Video-Reasoning-Benchmarks mit acht Aufgaben erreicht Robust-TO eine durchschnittliche Genauigkeit von 56,4 % auf sauberen Eingaben und übertrifft damit die stärkste Open-Source-Baseline um 10,6 Prozentpunkte sowie Gemini-2.5-Pro (46,2 %). Unter fünf realistischen Verzerrungstypen behält Robust-TO eine durchschnittliche Genauigkeit von 54,3 % bei, 5,8 Prozentpunkte über der stärksten Open-Source-Baseline, und weist unter allen verglichenen Methoden den geringsten Genauigkeitsabfall von sauberen zu verzerrten Eingaben auf.

English

Video reasoning language models implicitly assume that every input frame is equally reliable. This leads to what we term the Blind Trust Problem: under realistic perturbations such as motion blur, glare, or occlusion, frontier video reasoning models can suffer 15-30%p accuracy drops on real-world embodied benchmarks, while remaining unaware that their visual evidence has been degraded. To address this challenge, we propose Robust-TO, an agentic video understanding framework that explicitly integrates per-frame trustworthiness into every stage of reasoning. Robust-TO organizes heterogeneous visual perception tools under a unified evidence interface. Each tool receives a sub-query derived from the original question and a set of trustworthy frames selected by the reliability-relevance score. It returns evidence in a shared format: a concrete prediction (e.g., a bounding box, motion trajectory, recognized text, or action label), temporal grounding, and a calibrated reliability score. During reasoning, these calibrated scores guide evidence weighting in a three-tier synthesis process (high/medium/low) and define a confidence-cost GRPO reward that jointly optimizes correctness, evidence reliability, and efficiency. On two video reasoning benchmarks spanning eight tasks, Robust-TO achieves 56.4% average accuracy on clean inputs, surpassing the strongest open-source baseline by 10.6%p and outperforming Gemini-2.5-Pro (46.2%). Under five realistic corruption types, Robust-TO maintains 54.3% average accuracy, 5.8%p above the strongest open-source baseline, while exhibiting the smallest clean-to-corrupted accuracy drop among all compared methods.