V-ReasonBench: Rumo a um Conjunto Unificado de Benchmarks de Raciocínio para Modelos de Geração de Vídeo
V-ReasonBench: Toward Unified Reasoning Benchmark Suite for Video Generation Models
November 20, 2025
Autores: Yang Luo, Xuanlei Zhao, Baijiong Lin, Lingting Zhu, Liyao Tang, Yuqi Liu, Ying-Cong Chen, Shengju Qian, Xin Wang, Yang You
cs.AI
Resumo
Os avanços recentes em modelos generativos de vídeo, como o Veo-3, têm demonstrado capacidades surpreendentes de raciocínio zero-shot, criando uma necessidade crescente de avaliação sistemática e confiável. Apresentamos o V-ReasonBench, um benchmark projetado para avaliar o raciocínio em vídeo em quatro dimensões principais: resolução estruturada de problemas, cognição espacial, inferência baseada em padrões e dinâmica física. O benchmark é construído a partir de sequências de imagens sintéticas e do mundo real e oferece um conjunto diversificado de tarefas verificáveis por respostas que são reproduzíveis, escaláveis e inequívocas. As avaliações de seis modelos de vídeo de última geração revelam diferenças claras entre as dimensões, com variações significativas no raciocínio estruturado, espacial, baseado em padrões e físico. Além disso, comparamos modelos de vídeo com modelos de imagem robustos, analisamos comportamentos comuns de alucinação e estudamos como a duração do vídeo afeta o raciocínio em cadeia de quadros. No geral, o V-ReasonBench oferece uma estrutura unificada e reproduzível para medir o raciocínio em vídeo e visa apoiar o desenvolvimento de modelos com habilidades de raciocínio mais confiáveis e alinhadas com o pensamento humano.
English
Recent progress in generative video models, such as Veo-3, has shown surprising zero-shot reasoning abilities, creating a growing need for systematic and reliable evaluation. We introduce V-ReasonBench, a benchmark designed to assess video reasoning across four key dimensions: structured problem-solving, spatial cognition, pattern-based inference, and physical dynamics. The benchmark is built from both synthetic and real-world image sequences and provides a diverse set of answer-verifiable tasks that are reproducible, scalable, and unambiguous. Evaluations of six state-of-the-art video models reveal clear dimension-wise differences, with strong variation in structured, spatial, pattern-based, and physical reasoning. We further compare video models with strong image models, analyze common hallucination behaviors, and study how video duration affects Chain-of-Frames reasoning. Overall, V-ReasonBench offers a unified and reproducible framework for measuring video reasoning and aims to support the development of models with more reliable, human-aligned reasoning skills.