Video-Oasis : Repenser l'évaluation de la compréhension vidéo

Résumé

La complexité inhérente à la compréhension vidéo rend difficile de déterminer si les performances des Video-LLM sur les référentiels proviennent de la perception visuelle, du raisonnement linguistique ou de connaissances préalables. Bien que de nombreux référentiels aient vu le jour pour évaluer le raisonnement de haut niveau, les critères partagés pour évaluer la compréhension vidéo restent largement négligés. Au lieu d'introduire un nouveau référentiel, nous prenons du recul pour réexaminer les critères d'évaluation de la compréhension vidéo. Dans ce travail, nous présentons Video-Oasis, une suite de diagnostic durable pour auditer systématiquement les référentiels existants de compréhension vidéo. Cet audit révèle que 55 % des échantillons des référentiels actuels peuvent être résolus sans entrée visuelle ni contexte temporel. Après avoir filtré ces raccourcis, les défis restants, intrinsèquement vidéo, mettent en lumière un écart de capacité substantiel : les modèles de pointe obtiennent des résultats à peine supérieurs à une estimation aléatoire. À partir de ces constats, nous utilisons les défis distillés comme banc d'essai pour étudier quels choix algorithmiques de conception contribuent à une compréhension vidéo robuste. Nous espérons que notre travail fournira une base pratique pour construire des référentiels vidéo rigoureux et évaluer les futurs Video-LLM. Le code est disponible à l'adresse https://github.com/sejong-rcv/Video-Oasis.

English

The inherent complexity of video understanding makes it difficult to determine whether Video-LLM benchmark performance stems from visual perception, linguistic reasoning, or knowledge priors. While many benchmarks have emerged to assess high-level reasoning, shared criteria for evaluating video understanding remain largely overlooked. Instead of introducing yet another benchmark, we take a step back to re-examine the criteria for evaluating video understanding. In this work, we introduce Video-Oasis, a sustainable diagnostic suite for systematically auditing existing video understanding benchmarks. This audit reveals that 55\% of existing benchmark samples are solvable without visual input or temporal context. After filtering these shortcuts, the remaining video-native challenges expose a substantial capability gap: state-of-the-art models perform only marginally above random guessing. Building on these findings, we use the distilled challenges as a testbed to investigate which algorithmic design choices contribute to robust video understanding. We hope our work provides a practical foundation for constructing rigorous video benchmarks and evaluating future Video-LLMs. Code is available at https://github.com/sejong-rcv/Video-Oasis.