VideoZeroBench: Untersuchung der Grenzen von Video-MLLMs durch räumlich-zeitliche Evidenzverifikation
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
April 2, 2026
Autoren: Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan
cs.AI
Zusammenfassung
Aktuelle multimodale Large Language Models für Videos erzielen beeindruckende Ergebnisse in verschiedenen Benchmarks. Allerdings leiden aktuelle Evaluationen unter zwei kritischen Einschränkungen: (1) Aufgeblähte Scores können Defizite im feinkörnigen visuellen Verständnis und in der Reasoning-Fähigkeit verschleiern, und (2) die Antwortkorrektheit wird oft gemessen, ohne zu überprüfen, ob die Modelle die präzise räumlich-zeitliche Evidenz identifizieren, die ihre Vorhersagen stützt. Um dies zu adressieren, stellen wir VideoZeroBench vor, einen hierarchischen Benchmark für anspruchsvolle Langvideo-Fragebeantwortung, der räumlich-zeitliche Evidenz rigoros überprüft. Er umfasst 500 manuell annotierte Fragen aus 13 Domänen, die mit temporalen Intervallen und räumlichen Begrenzungsrahmen als Evidenz gepaart sind. Um die Antwortgenerierung, temporale Verortung und räumliche Verortung zu entkoppeln, führen wir ein fünfstufiges Evaluierungsprotokoll ein, das die Evidenzanforderungen schrittweise verschärft. Experimente zeigen, dass selbst Gemini-3-Pro unter der standardmäßigen End-to-End-QA-Einstellung (Stufe 3) weniger als 17 % der Fragen korrekt beantwortet. Wenn Verortungsbedingungen auferlegt werden, bricht die Leistung stark ein: Kein Modell überschreitet 1 % Genauigkeit, wenn sowohl korrekte Beantwortung als auch präzise räumlich-zeitliche Lokalisierung erforderlich sind (Stufe 5), wobei die meisten Modelle keine einzige korrekt verortete Vorhersage erzielen. Diese Ergebnisse offenbaren eine erhebliche Lücke zwischen oberflächlicher Antwortkorrektheit und echtem evidenzbasiertem Reasoning und zeigen, dass fundiertes Videoverständnis nach wie vor ein Engpass für die Langvideo-QA ist. Wir analysieren weiterhin die Leistung über minimale Evidenzspannen, atomare Fähigkeiten und Inferenzparadigmen hinweg und liefern Erkenntnisse für die zukünftige Forschung im Bereich des fundierten Video-Reasonings. Der Benchmark und der Code werden öffentlich verfügbar gemacht.
English
Recent video multimodal large language models achieve impressive results across various benchmarks. However, current evaluations suffer from two critical limitations: (1) inflated scores can mask deficiencies in fine-grained visual understanding and reasoning, and (2) answer correctness is often measured without verifying whether models identify the precise spatio-temporal evidence supporting their predictions. To address this, we present VideoZeroBench, a hierarchical benchmark designed for challenging long-video question answering that rigorously verifies spatio-temporal evidence. It comprises 500 manually annotated questions across 13 domains, paired with temporal intervals and spatial bounding boxes as evidence. To disentangle answering generation, temporal grounding, and spatial grounding, we introduce a five-level evaluation protocol that progressively tightens evidence requirements. Experiments show that even Gemini-3-Pro correctly answers fewer than 17% of questions under the standard end-to-end QA setting (Level-3). When grounding constraints are imposed, performance drops sharply: No model exceeds 1% accuracy when both correct answering and accurate spatio-temporal localization are required (Level-5), with most failing to achieve any correct grounded predictions. These results expose a significant gap between surface-level answer correctness and genuine evidence-based reasoning, revealing that grounded video understanding remains a bottleneck for long-video QA. We further analyze performance across minimal evidence spans, atomic abilities, and inference paradigms, providing insights for future research in grounded video reasoning. The benchmark and code will be made publicly available.