VideoScience-Bench를 활용한 비디오 생성의 과학적 이해와 추론 성능 평가

초록

비디오 생성의 다음 발전 방향은 제로샷 추론 능력을 갖춘 모델 개발에 있으며, 여기서는 다양한 조건에서 정확한 물리적 결과 모델링을 위해 현실 세계의 과학 법칙 이해가 중요합니다. 그러나 기존 비디오 벤치마크는 물리 상식에 기반하여, 비디오 모델의 과학적 추론 능력에 대한 통찰력을 제한적으로 제공합니다. 본 논문에서는 비디오 모델의 학부 수준 과학 이해력을 평가하기 위해 설계된 벤치마크인 VideoScience-Bench를 소개합니다. 각 프롬프트는 올바른 현상을 생성하기 위해 여러 과학 개념에 걸친 이해와 추론을 요구하는 복합 과학 시나리오를 인코딩합니다. 이 벤치마크는 물리와 화학 분야의 14개 주제, 103개 개념을 아우르는 200개의 신중하게 선별된 프롬프트로 구성됩니다. 우리는 T2V와 I2V 설정에서 7개의 최첨단 비디오 모델에 대해 전문가 주석 평가를 다섯 가지 차원(프롬프트 일관성, 현상 적합성, 정확한 역동성, 불변성, 시공간적 연속성)에 걸쳐 수행합니다. VLM-as-a-Judge를 사용하여 비디오 생성을 평가한 결과, 인간 평가와 강한 상관관계를 관찰했습니다. 우리가 알고 있는 한, VideoScience-Bench는 비디오 모델을 단순 생성기가 아닌 추론자로 평가하는 최초의 벤치마크로서, 모델의 생성물이 기대되는 물리적, 화학적 현상과 일치하는 과학적 이해를 입증하도록 요구합니다. 우리의 데이터와 평가 코드는 https://github.com/hao-ai-lab/VideoScience에서 확인할 수 있습니다.

English

The next frontier for video generation lies in developing models capable of zero-shot reasoning, where understanding real-world scientific laws is crucial for accurate physical outcome modeling under diverse conditions. However, existing video benchmarks are physical commonsense-based, offering limited insight into video models' scientific reasoning capability. We introduce VideoScience-Bench, a benchmark designed to evaluate undergraduate-level scientific understanding in video models. Each prompt encodes a composite scientific scenario that requires understanding and reasoning across multiple scientific concepts to generate the correct phenomenon. The benchmark comprises 200 carefully curated prompts spanning 14 topics and 103 concepts in physics and chemistry. We conduct expert-annotated evaluations across seven state-of-the-art video models in T2V and I2V settings along five dimensions: Prompt Consistency, Phenomenon Congruency, Correct Dynamism, Immutability, and Spatio-Temporal Continuity. Using a VLM-as-a-Judge to assess video generations, we observe strong correlation with human assessments. To the best of our knowledge, VideoScience-Bench is the first benchmark to evaluate video models not only as generators but also as reasoners, requiring their generations to demonstrate scientific understanding consistent with expected physical and chemical phenomena. Our data and evaluation code are available at: https://github.com/hao-ai-lab/VideoScience{github.com/hao-ai-lab/VideoScience}.

VideoScience-Bench를 활용한 비디오 생성의 과학적 이해와 추론 성능 평가

Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench

초록

Support