V-ReasonBench: К унифицированному набору тестов для оценки способности моделей генерации видео к рассуждению
V-ReasonBench: Toward Unified Reasoning Benchmark Suite for Video Generation Models
November 20, 2025
Авторы: Yang Luo, Xuanlei Zhao, Baijiong Lin, Lingting Zhu, Liyao Tang, Yuqi Liu, Ying-Cong Chen, Shengju Qian, Xin Wang, Yang You
cs.AI
Аннотация
Последние достижения в области генеративных моделей видео, такие как Veo-3, продемонстрировали удивительные способности к рассуждению в условиях нулевого обучения, что создает растущую потребность в систематической и надежной оценке. Мы представляем V-ReasonBench — эталонный тест, разработанный для оценки способности к рассуждению на основе видео по четырем ключевым направлениям: структурированное решение задач, пространственное восприятие, вывод на основе паттернов и физическая динамика. Этот тест создан на основе как синтетических, так и реальных последовательностей изображений и предлагает разнообразный набор задач с проверяемыми ответами, которые воспроизводимы, масштабируемы и однозначны. Оценка шести современных моделей видео выявила четкие различия по направлениям, с сильной вариацией в структурированном, пространственном, паттерн-ориентированном и физическом рассуждении. Мы также сравниваем модели видео с мощными моделями изображений, анализируем типичные случаи галлюцинаций и изучаем, как продолжительность видео влияет на рассуждение в рамках цепочки кадров. В целом, V-ReasonBench предлагает унифицированную и воспроизводимую структуру для измерения способности к рассуждению на основе видео и направлен на поддержку разработки моделей с более надежными и согласованными с человеческим мышлением навыками рассуждения.
English
Recent progress in generative video models, such as Veo-3, has shown surprising zero-shot reasoning abilities, creating a growing need for systematic and reliable evaluation. We introduce V-ReasonBench, a benchmark designed to assess video reasoning across four key dimensions: structured problem-solving, spatial cognition, pattern-based inference, and physical dynamics. The benchmark is built from both synthetic and real-world image sequences and provides a diverse set of answer-verifiable tasks that are reproducible, scalable, and unambiguous. Evaluations of six state-of-the-art video models reveal clear dimension-wise differences, with strong variation in structured, spatial, pattern-based, and physical reasoning. We further compare video models with strong image models, analyze common hallucination behaviors, and study how video duration affects Chain-of-Frames reasoning. Overall, V-ReasonBench offers a unified and reproducible framework for measuring video reasoning and aims to support the development of models with more reliable, human-aligned reasoning skills.