Bewertung des wissenschaftlichen Verständnisses und Schlussfolgerns bei der Videogenerierung mit VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
papers.authors: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
papers.abstract
Die nächste Grenze der Videogenerierung liegt in der Entwicklung von Modellen, die zu Zero-Shot-Reasoning fähig sind, wobei das Verständnis naturwissenschaftlicher Gesetze der realen Welt entscheidend für die genaue Modellierung physikalischer Ergebnisse unter verschiedenen Bedingungen ist. Bisherige Video-Benchmarks basieren jedoch auf physikalischem Common Sense und bieten nur begrenzte Einblicke in die wissenschaftliche Denkfähigkeit von Videomodellen. Wir stellen VideoScience-Bench vor, einen Benchmark, der entwickelt wurde, um das naturwissenschaftliche Verständnis von Videomodellen auf Undergraduate-Niveau zu bewerten. Jede Eingabeaufforderung kodiert ein zusammengesetztes wissenschaftliches Szenario, das Verständnis und logisches Schlussfolgern über mehrere wissenschaftliche Konzepte hinweg erfordert, um das korrekte Phänomen zu generieren. Der Benchmark umfasst 200 sorgfältig zusammengestellte Prompts, die 14 Themen und 103 Konzepte aus Physik und Chemie abdecken. Wir führen expertengestützte Evaluationen an sieben state-of-the-art Videomodellen in T2V- und I2V-Settings entlang fünf Dimensionen durch: Prompt-Konsistenz, Phänomen-Kongruenz, korrekte Dynamik, Unveränderbarkeit und raumzeitliche Kontinuität. Unter Verwendung eines VLM-as-a-Judge zur Bewertung der Videogenerierungen beobachten wir eine starke Korrelation mit menschlichen Bewertungen. Nach unserem Wissen ist VideoScience-Bench der erste Benchmark, der Videomodelle nicht nur als Generatoren, sondern auch als Denksysteme evaluiert und von ihren Generierungen verlangt, ein wissenschaftliches Verständnis zu demonstrieren, das mit den erwarteten physikalischen und chemischen Phänomenen übereinstimmt. Unsere Daten und Evaluierungscodes sind verfügbar unter: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.