Бенчмаркинг научного понимания и рассуждений для генерации видео с использованием VideoScience-Bench
Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench
December 2, 2025
Авторы: Lanxiang Hu, Abhilash Shankarampeta, Yixin Huang, Zilin Dai, Haoyang Yu, Yujie Zhao, Haoqiang Kang, Daniel Zhao, Tajana Rosing, Hao Zhang
cs.AI
Аннотация
Следующим рубежом в области генерации видео является разработка моделей, способных к рассуждениям в режиме zero-shot, где понимание реальных научных законов крайне важно для точного моделирования физических результатов в различных условиях. Однако существующие видео-бенчмарки основаны на физической здравой логике (commonsense) и дают ограниченное представление о способности видео-моделей к научным рассуждениям. Мы представляем VideoScience-Bench — бенчмарк, разработанный для оценки понимания научных концепций уровня бакалавриата в видео-моделях. Каждый промпт кодирует составной научный сценарий, который требует понимания и рассуждений на основе множества научных концепций для генерации корректного явления. Бенчмарк включает 200 тщательно отобранных промптов, охватывающих 14 тем и 103 концепции в области физики и химии. Мы проводим экспертно-аннотированные оценки семи передовых видео-моделей в настройках T2V (текст-в-видео) и I2V (изображение-в-видео) по пяти измерениям: соответствие промпту, соответствие явления, корректная динамика, неизменяемость и пространственно-временная непрерывность. Используя VLM-as-a-Judge для оценки сгенерированных видео, мы наблюдаем сильную корреляцию с человеческими оценками. Насколько нам известно, VideoScience-Bench является первым бенчмарком, который оценивает видео-модели не только как генераторы, но и как системы, способные к рассуждениям, требуя, чтобы их генерации демонстрировали научное понимание, согласующееся с ожидаемыми физическими и химическими явлениями. Наши данные и код для оценки доступны по адресу: https://github.com/hao-ai-lab/VideoScience.
English
The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.