VideoZeroBench: Het Onderzoeken van de Grenzen van Video MLLM's met Ruimtelijk-Temporeel Bewijsverificatie
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
April 2, 2026
Auteurs: Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan
cs.AI
Samenvatting
Recente multimodale grote taalmodellen voor video behalen indrukwekkende resultaten op diverse benchmarks. Huidige evaluaties kampen echter met twee kritieke beperkingen: (1) opgeblazen scores kunnen tekortkomingen in fijnmazig visueel begrip en redeneren maskeren, en (2) de correctheid van antwoorden wordt vaak gemeten zonder te verifiëren of modellen het precieze spatio-temporele bewijs dat hun voorspellingen ondersteunt, identificeren. Om dit aan te pakken, presenteren we VideoZeroBench, een hiërarchische benchmark ontworpen voor uitdagende vraag-antwoordtaken op lange video's die spatio-temporeel bewijs rigoureus verifieert. De benchmark omvat 500 handmatig geannoteerde vragen uit 13 domeinen, gekoppeld aan temporele intervallen en ruimtelijke begrenzingskaders als bewijs. Om antwoordgeneratie, temporele lokalisatie en ruimtelijke lokalisatie te ontwarren, introduceren we een vijfdelig evaluatieprotocol dat de bewijseisen progressief aanscherpt. Experimenten tonen aan dat zelfs Gemini-3-Pro minder dan 17% van de vragen correct beantwoordt onder de standaard end-to-end QA-instelling (Niveau-3). Wanneer lokalisatie-eisen worden opgelegd, daalt de prestaties sterk: geen enkel model haalt meer dan 1% nauwkeurigheid wanneer zowel correct antwoorden als accurate spatio-temporele lokalisatie vereist zijn (Niveau-5), waarbij de meeste modellen erin falen ook maar één correct gelokaliseerde voorspelling te doen. Deze resultaten leggen een significante kloof bloot tussen oppervlakkige antwoordcorrectheid en daadwerkelijk op bewijs gebaseerd redeneren, en onthullen dat gegrond videobegrip een bottleneck blijft voor QA op lange video's. We analyseren verder de prestaties op minimale bewijsspannen, atomaire vaardigheden en inferentieparadigma's, wat inzichten biedt voor toekomstig onderzoek in gegrond videoredeneren. De benchmark en code zullen openbaar beschikbaar worden gesteld.
English
Recent video multimodal large language models achieve impressive results across various benchmarks. However, current evaluations suffer from two critical limitations: (1) inflated scores can mask deficiencies in fine-grained visual understanding and reasoning, and (2) answer correctness is often measured without verifying whether models identify the precise spatio-temporal evidence supporting their predictions. To address this, we present VideoZeroBench, a hierarchical benchmark designed for challenging long-video question answering that rigorously verifies spatio-temporal evidence. It comprises 500 manually annotated questions across 13 domains, paired with temporal intervals and spatial bounding boxes as evidence. To disentangle answering generation, temporal grounding, and spatial grounding, we introduce a five-level evaluation protocol that progressively tightens evidence requirements. Experiments show that even Gemini-3-Pro correctly answers fewer than 17% of questions under the standard end-to-end QA setting (Level-3). When grounding constraints are imposed, performance drops sharply: No model exceeds 1% accuracy when both correct answering and accurate spatio-temporal localization are required (Level-5), with most failing to achieve any correct grounded predictions. These results expose a significant gap between surface-level answer correctness and genuine evidence-based reasoning, revealing that grounded video understanding remains a bottleneck for long-video QA. We further analyze performance across minimal evidence spans, atomic abilities, and inference paradigms, providing insights for future research in grounded video reasoning. The benchmark and code will be made publicly available.