Video-MME-Logical: Ein kontrollierter diagnostischer Benchmark für temporal-logisches Denken in Videos

Zusammenfassung

Das jüngste Interesse an multimodalen großen Sprachmodellen (MLLMs) wirft eine zentrale Frage auf: Können sie auf der Grundlage dynamischer visueller Beweise schlussfolgern, anstatt lediglich Objekte oder Ereignisse in einzelnen Einzelbildern zu erkennen? Diese Fähigkeit, die wir als video-temporallogisches Schlussfolgern bezeichnen, erfordert, dass Modelle Beweise aufrechterhalten, aktualisieren und zusammensetzen, während sich visuelle Zustände über Einzelbilder hinweg entwickeln. Bisherige Video-Benchmarks vermischen diese Fähigkeit oft mit Szenenkomplexität, statischer Erkennung oder unkontrollierten zeitlichen Variationen. Um diese Fähigkeit zu isolieren, führen wir Video-MME-Logical ein, eine kontrollierte Benchmark, die um fünf temporallogische Operationen herum aufgebaut ist: Zustandsverfolgung, sequenzielles Zählen, zeitliche Ordnung, dynamische Räumlichkeit und strukturelle Komposition. Die Benchmark umfasst 25 feinabgestufte Aufgabenkategorien, die mit kontrollierten Objektzuständen, Übergängen, zeitlichen Abhängigkeiten und logischen Kompositionen generiert werden. Sie ermöglicht eine schwierigkeitskontrollierte Bewertung der endgültigen Antwort durch Variation des zeitlichen Horizonts und der Schlussfolgerungskomplexität und unterstützt die Diagnose von Zwischenzuständen, indem überprüft wird, ob Modelle die erforderliche logische Schlussfolgerungsspur wiederherstellen, bevor sie die endgültige Antwort liefern. Experimente mit modernsten MLLMs zeigen eine erhebliche Mensch-Modell-Lücke, insbesondere mit zunehmender temporallogischer Komplexität. Überwachtes Feintuning mit bis zu 500.000 generierten Stichproben verbessert die Leistung, reicht jedoch nicht aus, um die Schlussfolgerungslücke zu schließen, was Video-MME-Logical als skalierbaren Teststand für die Analyse und Verbesserung des temporallogischen Schlussfolgerns in MLLMs positioniert.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.