V-ReasonBench: Verso una Suite Unificata di Benchmark per il Ragionamento nei Modelli di Generazione Video
V-ReasonBench: Toward Unified Reasoning Benchmark Suite for Video Generation Models
November 20, 2025
Autori: Yang Luo, Xuanlei Zhao, Baijiong Lin, Lingting Zhu, Liyao Tang, Yuqi Liu, Ying-Cong Chen, Shengju Qian, Xin Wang, Yang You
cs.AI
Abstract
I recenti progressi nei modelli generativi di video, come Veo-3, hanno dimostrato sorprendenti capacità di ragionamento zero-shot, creando una crescente necessità di valutazioni sistematiche e affidabili. Introduciamo V-ReasonBench, un benchmark progettato per valutare il ragionamento video lungo quattro dimensioni chiave: risoluzione strutturata di problemi, cognizione spaziale, inferenza basata su modelli e dinamiche fisiche. Il benchmark è costruito sia da sequenze di immagini sintetiche che del mondo reale e fornisce un insieme diversificato di task verificabili con risposte, riproducibili, scalabili e inequivocabili. Le valutazioni di sei modelli video all’avanguardia rivelano chiare differenze per dimensione, con una forte variazione nel ragionamento strutturato, spaziale, basato su modelli e fisico. Confrontiamo inoltre i modelli video con modelli di immagini avanzati, analizziamo i comportamenti comuni di allucinazione e studiamo come la durata del video influenzi il ragionamento a catena di fotogrammi. Nel complesso, V-ReasonBench offre un framework unificato e riproducibile per misurare il ragionamento video e mira a supportare lo sviluppo di modelli con capacità di ragionamento più affidabili e allineate a quelle umane.
English
Recent progress in generative video models, such as Veo-3, has shown surprising zero-shot reasoning abilities, creating a growing need for systematic and reliable evaluation. We introduce V-ReasonBench, a benchmark designed to assess video reasoning across four key dimensions: structured problem-solving, spatial cognition, pattern-based inference, and physical dynamics. The benchmark is built from both synthetic and real-world image sequences and provides a diverse set of answer-verifiable tasks that are reproducible, scalable, and unambiguous. Evaluations of six state-of-the-art video models reveal clear dimension-wise differences, with strong variation in structured, spatial, pattern-based, and physical reasoning. We further compare video models with strong image models, analyze common hallucination behaviors, and study how video duration affects Chain-of-Frames reasoning. Overall, V-ReasonBench offers a unified and reproducible framework for measuring video reasoning and aims to support the development of models with more reliable, human-aligned reasoning skills.