Orchestration d'outils consciente de la confiance pour une compréhension vidéo robuste

Résumé

Les modèles de raisonnement vidéo supposent implicitement que chaque trame d'entrée est également fiable. Cela conduit à ce que nous appelons le problème de confiance aveugle : sous des perturbations réalistes telles que le flou de mouvement, l'éblouissement ou l'occlusion, les modèles de raisonnement vidéo de pointe peuvent subir des baisses de précision de 15 à 30 points de pourcentage sur des benchmarks incarnés du monde réel, tout en restant inconscients que leurs indices visuels ont été dégradés. Pour relever ce défi, nous proposons Robust-TO, un cadre de compréhension vidéo agentique qui intègre explicitement la fiabilité par trame à chaque étape du raisonnement. Robust-TO organise des outils de perception visuelle hétérogènes sous une interface de preuves unifiée. Chaque outil reçoit une sous-question dérivée de la question originale et un ensemble de trames fiables sélectionnées par le score de fiabilité-pertinence. Il renvoie une preuve dans un format commun : une prédiction concrète (par exemple, un cadre englobant, une trajectoire de mouvement, un texte reconnu ou une étiquette d'action), un ancrage temporel et un score de fiabilité calibré. Lors du raisonnement, ces scores calibrés guident la pondération des preuves dans un processus de synthèse à trois niveaux (élevé/moyen/faible) et définissent une récompense GRPO basée sur la confiance-coût qui optimise conjointement l'exactitude, la fiabilité des preuves et l'efficacité. Sur deux benchmarks de raisonnement vidéo couvrant huit tâches, Robust-TO atteint une précision moyenne de 56,4 % sur des entrées propres, surpassant la meilleure baseline open-source de 10,6 points de pourcentage et dépassant Gemini-2.5-Pro (46,2 %). Sous cinq types de corruption réalistes, Robust-TO maintient une précision moyenne de 54,3 %, soit 5,8 points de pourcentage au-dessus de la meilleure baseline open-source, tout en présentant la plus faible baisse de précision entre entrées propres et corrompues parmi toutes les méthodes comparées.

English

Video reasoning language models implicitly assume that every input frame is equally reliable. This leads to what we term the Blind Trust Problem: under realistic perturbations such as motion blur, glare, or occlusion, frontier video reasoning models can suffer 15-30%p accuracy drops on real-world embodied benchmarks, while remaining unaware that their visual evidence has been degraded. To address this challenge, we propose Robust-TO, an agentic video understanding framework that explicitly integrates per-frame trustworthiness into every stage of reasoning. Robust-TO organizes heterogeneous visual perception tools under a unified evidence interface. Each tool receives a sub-query derived from the original question and a set of trustworthy frames selected by the reliability-relevance score. It returns evidence in a shared format: a concrete prediction (e.g., a bounding box, motion trajectory, recognized text, or action label), temporal grounding, and a calibrated reliability score. During reasoning, these calibrated scores guide evidence weighting in a three-tier synthesis process (high/medium/low) and define a confidence-cost GRPO reward that jointly optimizes correctness, evidence reliability, and efficiency. On two video reasoning benchmarks spanning eight tasks, Robust-TO achieves 56.4% average accuracy on clean inputs, surpassing the strongest open-source baseline by 10.6%p and outperforming Gemini-2.5-Pro (46.2%). Under five realistic corruption types, Robust-TO maintains 54.3% average accuracy, 5.8%p above the strongest open-source baseline, while exhibiting the smallest clean-to-corrupted accuracy drop among all compared methods.