Valutazione delle capacità di comprensione e ragionamento scientifico nella generazione video mediante VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
Autori: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
Abstract
La prossima frontiera per la generazione video risiede nello sviluppo di modelli capaci di ragionamento zero-shot, dove la comprensione delle leggi scientifiche del mondo reale è cruciale per una modellizzazione accurata degli esiti fisici in condizioni diverse. Tuttavia, i benchmark video esistenti si basano sul senso comune fisico, offrendo una visione limitata delle capacità di ragionamento scientifico dei modelli video. Introduciamo VideoScience-Bench, un benchmark progettato per valutare la comprensione scientifica di livello universitario nei modelli video. Ogni prompt codifica uno scenario scientifico composito che richiede la comprensione e il ragionamento su molteplici concetti scientifici per generare il fenomeno corretto. Il benchmark comprende 200 prompt accuratamente selezionati, che abbracciano 14 argomenti e 103 concetti di fisica e chimica. Conduciamo valutazioni annotate da esperti su sette modelli video all'avanguardia in contesti T2V e I2V lungo cinque dimensioni: Coerenza con il Prompt, Congruenza del Fenomeno, Dinamismo Corretto, Immutabilità e Continuità Spazio-Temporale. Utilizzando un VLM-as-a-Judge per valutare le generazioni video, osserviamo una forte correlazione con le valutazioni umane. Per quanto a nostra conoscenza, VideoScience-Bench è il primo benchmark che valuta i modelli video non solo come generatori ma anche come ragionatori, richiedendo che le loro generazioni dimostrino una comprensione scientifica coerente con i fenomeni fisici e chimici attesi. I nostri dati e il codice di valutazione sono disponibili al seguente indirizzo: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.