Benchmarking van wetenschappelijk begrip en redeneren voor videogeneratie met VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
Auteurs: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
Samenvatting
De volgende grens voor videogeneratie ligt in de ontwikkeling van modellen die in staat zijn tot zero-shot redeneren, waarbij begrip van wetenschappelijke wetten uit de echte wereld cruciaal is voor accurate modellering van fysieke uitkomsten onder diverse omstandigheden. Bestaande videobenchmarks zijn echter gebaseerd op gezond verstand over fysica en bieden beperkt inzicht in het wetenschappelijk redeneervermogen van videomodellen. Wij introduceren VideoScience-Bench, een benchmark ontworpen om begrip van wetenschap op bachelorniveau in videomodellen te evalueren. Elke prompt codeert een samengesteld wetenschappelijk scenario dat begrip en redenering over meerdere wetenschappelijke concepten vereist om het juiste fenomeen te genereren. De benchmark omvat 200 zorgvuldig samengestelde prompts verspreid over 14 onderwerpen en 103 concepten in natuurkunde en scheikunde. Wij voeren expert-geannoteerde evaluaties uit over zeven state-of-the-art videomodellen in T2V- en I2V-instellingen langs vijf dimensies: Promptconsistentie, Fenomeencongruentie, Correcte Dynamiek, Onveranderlijkheid en Ruimtelijk-temporele Continuïteit. Door een VLM-as-a-Judge te gebruiken om videogeneraties te beoordelen, observeren we een sterke correlatie met menselijke beoordelingen. Voor zover wij weten is VideoScience-Bench de eerste benchmark die videomodellen niet alleen evalueert als generators maar ook als reasoners, waarbij hun generaties wetenschappelijk begrip moeten demonstreren dat consistent is met verwachte fysieke en chemische fenomenen. Onze data en evaluatiecode zijn beschikbaar op: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.