Evaluación Comparativa de la Comprensión y el Razonamiento Científico para la Generación de Vídeo mediante VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
Autores: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
Resumen
La próxima frontera para la generación de vídeo reside en desarrollar modelos capaces de razonamiento zero-shot, donde la comprensión de las leyes científicas del mundo real es crucial para modelar con precisión los resultados físicos bajo diversas condiciones. Sin embargo, los puntos de referencia existentes para vídeo se basan en el sentido común físico, ofreciendo una visión limitada de la capacidad de razonamiento científico de los modelos de vídeo. Presentamos VideoScience-Bench, un benchmark diseñado para evaluar la comprensión científica a nivel universitario en modelos de vídeo. Cada prompt codifica un escenario científico compuesto que requiere comprender y razonar múltiples conceptos científicos para generar el fenómeno correcto. El benchmark comprende 200 prompts cuidadosamente seleccionados que abarcan 14 temas y 103 conceptos de física y química. Realizamos evaluaciones anotadas por expertos en siete modelos de vídeo de última generación en configuraciones T2V e I2V a lo largo de cinco dimensiones: Coherencia con el Prompt, Congruencia del Fenómeno, Dinamismo Correcto, Inmutabilidad y Continuidad Espacio-Temporal. Utilizando un Modelo de Lenguaje Visual como Juez para evaluar las generaciones de vídeo, observamos una fuerte correlación con las evaluaciones humanas. Hasta donde sabemos, VideoScience-Bench es el primer benchmark que evalúa los modelos de vídeo no solo como generadores, sino también como sistemas de razonamiento, requiriendo que sus generaciones demuestren una comprensión científica consistente con los fenómenos físicos y químicos esperados. Nuestros datos y código de evaluación están disponibles en: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.