Video-Oasis: Die Evaluierung des Video-Verständnisses neu überdenken

Zusammenfassung

Die inhärente Komplexität der Videoverarbeitung erschwert die Bestimmung, ob die Benchmark-Leistung von Video-LLMs auf visueller Wahrnehmung, sprachlichem Schlussfolgern oder Wissensvorwissen beruht. Obwohl zahlreiche Benchmarks zur Bewertung von hochrangigen Schlussfolgerungen entwickelt wurden, bleiben gemeinsame Kriterien zur Beurteilung des Videoverständnisses weitgehend unbeachtet. Anstatt einen weiteren Benchmark einzuführen, machen wir einen Schritt zurück und überprüfen die Kriterien zur Bewertung des Videoverständnisses. In dieser Arbeit präsentieren wir Video-Oasis, ein nachhaltiges Diagnosetool zur systematischen Prüfung bestehender Videoverständnis-Benchmarks. Diese Prüfung zeigt, dass 55 % der vorhandenen Benchmark-Beispiele ohne visuelle Eingabe oder zeitlichen Kontext lösbar sind. Nach dem Herausfiltern dieser Abkürzungen offenbaren die verbleibenden videonativen Herausforderungen eine erhebliche Fähigkeitslücke: Die leistungsfähigsten Modelle schneiden nur marginal besser ab als ein zufälliges Raten. Basierend auf diesen Erkenntnissen nutzen wir die destillierten Herausforderungen als Testumgebung, um zu untersuchen, welche algorithmischen Designentscheidungen zu einem robusten Videoverständnis beitragen. Wir hoffen, dass unsere Arbeit eine praktische Grundlage für die Erstellung rigoroser Videobenchmarks und die Bewertung zukünftiger Video-LLMs bietet. Der Code ist verfügbar unter https://github.com/sejong-rcv/Video-Oasis.

English

The inherent complexity of video understanding makes it difficult to determine whether Video-LLM benchmark performance stems from visual perception, linguistic reasoning, or knowledge priors. While many benchmarks have emerged to assess high-level reasoning, shared criteria for evaluating video understanding remain largely overlooked. Instead of introducing yet another benchmark, we take a step back to re-examine the criteria for evaluating video understanding. In this work, we introduce Video-Oasis, a sustainable diagnostic suite for systematically auditing existing video understanding benchmarks. This audit reveals that 55\% of existing benchmark samples are solvable without visual input or temporal context. After filtering these shortcuts, the remaining video-native challenges expose a substantial capability gap: state-of-the-art models perform only marginally above random guessing. Building on these findings, we use the distilled challenges as a testbed to investigate which algorithmic design choices contribute to robust video understanding. We hope our work provides a practical foundation for constructing rigorous video benchmarks and evaluating future Video-LLMs. Code is available at https://github.com/sejong-rcv/Video-Oasis.