VideoZeroBench: Investigando os Limites dos MLLMs de Vídeo com Verificação de Evidências Espaço-Temporais
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
April 2, 2026
Autores: Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan
cs.AI
Resumo
Os modelos multimodais de grande capacidade linguística para vídeo recentes alcançam resultados impressionantes em várias benchmarks. No entanto, as avaliações atuais sofrem de duas limitações críticas: (1) pontuações infladas podem mascarar deficiências na compreensão visual e no raciocínio de granularidade fina, e (2) a correção das respostas é frequentemente medida sem verificar se os modelos identificam a evidência espaço-temporal precisa que suporta as suas previsões. Para resolver isto, apresentamos o VideoZeroBench, uma benchmark hierárquica concebida para questionamento de resposta sobre vídeos longos e desafiante, que verifica rigorosamente a evidência espaço-temporal. Este compreende 500 questões anotadas manualmente em 13 domínios, emparelhadas com intervalos temporais e caixas delimitadoras espaciais como evidência. Para separar a geração de respostas, a localização temporal e a localização espacial, introduzimos um protocolo de avaliação de cinco níveis que progressivamente aperta os requisitos de evidência.
Experiências mostram que mesmo o Gemini-3-Pro responde corretamente a menos de 17% das questões no cenário padrão de QA de ponta a ponta (Nível 3). Quando são impostas restrições de localização, o desempenho cai abruptamente: nenhum modelo excede 1% de precisão quando são necessárias tanto a resposta correta como a localização espaço-temporal precisa (Nível 5), com a maioria a falhar na obtenção de quaisquer previsões corretas e fundamentadas. Estes resultados expõem uma lacuna significativa entre a correção superficial da resposta e o genuíno raciocínio baseado em evidências, revelando que a compreensão fundamentada de vídeo permanece um estrangulamento para o questionamento de resposta em vídeos longos. Analisamos ainda o desempenho através de intervalos de evidência mínimos, capacidades atómicas e paradigmas de inferência, fornecendo perspetivas para futuras pesquisas em raciocínio vídeo fundamentado. A benchmark e o código serão disponibilizados publicamente.
English
Recent video multimodal large language models achieve impressive results across various benchmarks. However, current evaluations suffer from two critical limitations: (1) inflated scores can mask deficiencies in fine-grained visual understanding and reasoning, and (2) answer correctness is often measured without verifying whether models identify the precise spatio-temporal evidence supporting their predictions. To address this, we present VideoZeroBench, a hierarchical benchmark designed for challenging long-video question answering that rigorously verifies spatio-temporal evidence. It comprises 500 manually annotated questions across 13 domains, paired with temporal intervals and spatial bounding boxes as evidence. To disentangle answering generation, temporal grounding, and spatial grounding, we introduce a five-level evaluation protocol that progressively tightens evidence requirements. Experiments show that even Gemini-3-Pro correctly answers fewer than 17% of questions under the standard end-to-end QA setting (Level-3). When grounding constraints are imposed, performance drops sharply: No model exceeds 1% accuracy when both correct answering and accurate spatio-temporal localization are required (Level-5), with most failing to achieve any correct grounded predictions. These results expose a significant gap between surface-level answer correctness and genuine evidence-based reasoning, revealing that grounded video understanding remains a bottleneck for long-video QA. We further analyze performance across minimal evidence spans, atomic abilities, and inference paradigms, providing insights for future research in grounded video reasoning. The benchmark and code will be made publicly available.