Video-MME-Logical : Un benchmark diagnostique contrôlé pour le raisonnement logico-temporel vidéo

Résumé

L'intérêt récent pour les modèles de langage multimodaux de grande taille (MLLMs) soulève une question centrale : ces modèles peuvent-ils raisonner sur des preuves visuelles dynamiques, plutôt que de simplement reconnaître des objets ou des événements dans des images individuelles ? Cette capacité, que nous appelons raisonnement temporel-logique vidéo, exige que les modèles maintiennent, mettent à jour et composent des preuves à mesure que les états visuels évoluent entre les images. Les bancs d'essai vidéo existants confondent souvent cette capacité avec la complexité des scènes, la reconnaissance statique ou une variation temporelle non contrôlée. Afin d'isoler cette capacité, nous introduisons Video-MME-Logical, un banc d'essai contrôlé organisé autour de cinq opérations temporelles-logiques : suivi d'état, comptage séquentiel, ordonnancement temporel, spatialité dynamique et composition structurelle. Ce banc d'essai contient 25 catégories de tâches à granularité fine, générées avec des états d'objets contrôlés, des transitions, des dépendances temporelles et des compositions logiques. Il permet une évaluation finale avec difficulté contrôlée en faisant varier l'horizon temporel et la complexité du raisonnement, et prend en charge un diagnostic intermédiaire des états en vérifiant si les modèles reconstituent la trace de raisonnement logique requise avant de produire la réponse finale. Les expériences menées avec des MLLMs de pointe révèlent un écart important entre l'humain et le modèle, surtout lorsque la complexité temporelle-logique augmente. Un ajustement supervisé sur jusqu'à 500 000 échantillons générés améliore les performances, mais reste insuffisant pour combler l'écart de raisonnement, positionnant Video-MME-Logical comme un banc d'essai évolutif pour analyser et améliorer le raisonnement temporel-logique dans les MLLMs.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.