Avaliação da Compreensão e Raciocínio Científico para Geração de Vídeo usando o VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
Autores: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
Resumo
A próxima fronteira para a geração de vídeo reside no desenvolvimento de modelos capazes de raciocínio *zero-shot*, nos quais a compreensão das leis científicas do mundo real é crucial para a modelização precisa de resultados físicos sob condições diversas. No entanto, os *benchmarks* de vídeo existentes baseiam-se no senso comum físico, fornecendo uma perceção limitada sobre a capacidade de raciocínio científico dos modelos de vídeo. Apresentamos o VideoScience-Bench, um *benchmark* concebido para avaliar a compreensão científica ao nível de licenciatura em modelos de vídeo. Cada *prompt* codifica um cenário científico compósito que exige a compreensão e o raciocínio através de múltiplos conceitos científicos para gerar o fenómeno correto. O *benchmark* compreende 200 *prompts* criteriosamente selecionados, abrangendo 14 tópicos e 103 conceitos de física e química. Realizamos avaliações anotadas por especialistas em sete modelos de vídeo state-of-the-art em configurações T2V (*Text-to-Video*) e I2V (*Image-to-Video*) ao longo de cinco dimensões: Consistência com o *Prompt*, Congruência do Fenómeno, Dinamismo Correto, Imutabilidade e Continuidade Espaço-Temporal. Utilizando um VLM (*Vision-Language Model*) como Juiz para avaliar as gerações de vídeo, observámos uma forte correlação com as avaliações humanas. Tanto quanto sabemos, o VideoScience-Bench é o primeiro *benchmark* a avaliar os modelos de vídeo não apenas como geradores, mas também como sistemas de raciocínio, exigindo que as suas gerações demonstrem uma compreensão científica consistente com os fenómenos físicos e químicos esperados. Os nossos dados e código de avaliação estão disponíveis em: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.