VideoZeroBench : Sonder les limites des MLLM vidéo par la vérification de preuves spatio-temporelles
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
April 2, 2026
Auteurs: Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan
cs.AI
Résumé
Les modèles linguistiques multimodaux récents pour la vidéo obtiennent des résultats impressionnants sur diverses évaluations. Cependant, les évaluations actuelles souffrent de deux limitations critiques : (1) des scores gonflés peuvent masquer des lacunes dans la compréhension visuelle fine et le raisonnement, et (2) l'exactitude des réponses est souvent mesurée sans vérifier si les modèles identifient les preuves spatio-temporelles précises étayant leurs prédictions. Pour remédier à cela, nous présentons VideoZeroBench, un benchmark hiérarchique conçu pour des questions-réponses exigeantes sur de longues vidéos, qui vérifie rigoureusement les preuves spatio-temporelles. Il comprend 500 questions annotées manuellement couvrant 13 domaines, associées à des intervalles temporels et des boîtes englobantes spatiales comme preuves. Pour distinguer la génération de réponses, l'ancrage temporel et l'ancrage spatial, nous introduisons un protocole d'évaluation à cinq niveaux qui renforce progressivement les exigences en matière de preuves. Les expériences montrent que même Gemini-3-Pro répond correctement à moins de 17 % des questions dans le cadre standard de questions-réponses de bout en bout (Niveau 3). Lorsque des contraintes d'ancrage sont imposées, les performances chutent brutalement : aucun modèle ne dépasse 1 % de précision lorsque l'exactitude de la réponse et une localisation spatio-temporelle précise sont requises (Niveau 5), la plupart échouant à produire des prédictions ancrées correctes. Ces résultats révèlent un écart significatif entre l'exactitude superficielle des réponses et un raisonnement authentique fondé sur des preuves, indiquant que la compréhension vidéo ancrée reste un goulot d'étranglement pour les questions-réponses sur de longues vidéos. Nous analysons en outre les performances selon les étendues de preuves minimales, les capacités atomiques et les paradigmes d'inférence, offrant des perspectives pour les futures recherches sur le raisonnement vidéo ancré. Le benchmark et le code seront rendus publics.
English
Recent video multimodal large language models achieve impressive results across various benchmarks. However, current evaluations suffer from two critical limitations: (1) inflated scores can mask deficiencies in fine-grained visual understanding and reasoning, and (2) answer correctness is often measured without verifying whether models identify the precise spatio-temporal evidence supporting their predictions. To address this, we present VideoZeroBench, a hierarchical benchmark designed for challenging long-video question answering that rigorously verifies spatio-temporal evidence. It comprises 500 manually annotated questions across 13 domains, paired with temporal intervals and spatial bounding boxes as evidence. To disentangle answering generation, temporal grounding, and spatial grounding, we introduce a five-level evaluation protocol that progressively tightens evidence requirements. Experiments show that even Gemini-3-Pro correctly answers fewer than 17% of questions under the standard end-to-end QA setting (Level-3). When grounding constraints are imposed, performance drops sharply: No model exceeds 1% accuracy when both correct answering and accurate spatio-temporal localization are required (Level-5), with most failing to achieve any correct grounded predictions. These results expose a significant gap between surface-level answer correctness and genuine evidence-based reasoning, revealing that grounded video understanding remains a bottleneck for long-video QA. We further analyze performance across minimal evidence spans, atomic abilities, and inference paradigms, providing insights for future research in grounded video reasoning. The benchmark and code will be made publicly available.