VideoZeroBench: Исследование пределов возможностей видео-MLLM с проверкой пространственно-временных доказательств
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
April 2, 2026
Авторы: Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan
cs.AI
Аннотация
Современные мультимодальные языковые модели для видео демонстрируют впечатляющие результаты в различных тестах. Однако текущие методы оценки страдают от двух критических ограничений: (1) завышенные баллы могут маскировать недостатки в детальном визуальном понимании и рассуждении, и (2) правильность ответа часто измеряется без проверки того, идентифицируют ли модели точные пространственно-временные доказательства, подтверждающие их предсказания. Для решения этой проблемы мы представляем VideoZeroBench — иерархический бенчмарк, разработанный для сложного ответа на вопросы по длинным видео, который строго проверяет пространственно-временные доказательства. Он включает 500 вопросов с ручной разметкой из 13 областей, сопряженных с временными интервалами и пространственными ограничивающими рамками в качестве доказательств. Чтобы разделить генерацию ответов, временную и пространственную локализацию, мы вводим пятиуровневый протокол оценки, который постепенно ужесточает требования к доказательствам. Эксперименты показывают, что даже Gemini-3-Pro правильно отвечает менее чем на 17% вопросов в стандартной сквозной постановке задачи QA (Уровень 3). При наложении ограничений на локализацию производительность резко падает: ни одна модель не превышает 1% точности, когда требуется как правильный ответ, так и точная пространственно-временная локализация (Уровень 5), причем большинство моделей не способны дать ни одного корректного обоснованного предсказания. Эти результаты выявляют значительный разрыв между поверхностной правильностью ответа и подлинным доказательным рассуждением, показывая, что обоснованное понимание видео остается узким местом для QA по длинным видео. Мы дополнительно анализируем производительность по минимальным отрезкам доказательств, атомарным способностям и парадигмам вывода, предоставляя insights для будущих исследований в области обоснованного видео-рассуждения. Бенчмарк и код будут общедоступны.
English
Recent video multimodal large language models achieve impressive results across various benchmarks. However, current evaluations suffer from two critical limitations: (1) inflated scores can mask deficiencies in fine-grained visual understanding and reasoning, and (2) answer correctness is often measured without verifying whether models identify the precise spatio-temporal evidence supporting their predictions. To address this, we present VideoZeroBench, a hierarchical benchmark designed for challenging long-video question answering that rigorously verifies spatio-temporal evidence. It comprises 500 manually annotated questions across 13 domains, paired with temporal intervals and spatial bounding boxes as evidence. To disentangle answering generation, temporal grounding, and spatial grounding, we introduce a five-level evaluation protocol that progressively tightens evidence requirements. Experiments show that even Gemini-3-Pro correctly answers fewer than 17% of questions under the standard end-to-end QA setting (Level-3). When grounding constraints are imposed, performance drops sharply: No model exceeds 1% accuracy when both correct answering and accurate spatio-temporal localization are required (Level-5), with most failing to achieve any correct grounded predictions. These results expose a significant gap between surface-level answer correctness and genuine evidence-based reasoning, revealing that grounded video understanding remains a bottleneck for long-video QA. We further analyze performance across minimal evidence spans, atomic abilities, and inference paradigms, providing insights for future research in grounded video reasoning. The benchmark and code will be made publicly available.