프린키피아: 비디오 모델을 위한 관계형 물리 테스트

초록

비디오 모델에서 물리적 추론을 평가하는 것은 절대 운동 측정이 프레임 속도, 객체 규모, 카메라 보정에 의존하기 때문에 어렵다. 이러한 요소들은 생성된 비디오에서 종종 모호하거나 이용 가능하지 않다. 우리는 다른 접근 방식을 제안한다. 같은 장면에 있는 두 객체가 동일한 물리 법칙을 따를 때, 그들의 운동은 예측 가능한 관계를 충족해야 하며, 이러한 관계는 보정과 무관하게 성립한다. 우리는 짝을 이루는 객체 사이의 관계적 일관성을 통해 뉴턴 물리학을 평가하는 벤치마크인 Principia를 소개한다. Principia는 통제된 프로토콜로 녹화된 실제 장면을 사용하여 병진, 회전, 충돌 및 진동 역학에 걸쳐 중력, 반발, 마찰, 회전 관성, 포물선 운동, 운동량, 진자, 질량-스프링 진동이라는 여덟 가지 현상을 다룬다. 또한 우리는 이미지 공간에서 물리적 위반을 직접 정량화하는, 보정 독립적인 일관성 점수를 도입한다. 여섯 개의 최첨단 비디오 생성기로부터 생성된 수천 개의 결과물 전반에서, 모든 모델이 VBench에서 약 0.8의 점수를 기록했음에도 불구하고 Principia에서 0.42를 초과한 모델은 없다. 시각-언어 모델은 관계적 물리 위반을 탐지하는 능력에 대해 평가되었으며, 최고 모델은 67%의 정확도에 그쳤고 대부분의 모델은 우연 수준에 근접한 성능을 보였다.

English

Evaluating physical reasoning in video models is difficult because absolute motion measurements depend on frame rate, object scale, and camera calibration, all of which are often ambiguous or unavailable in generated video. We propose a different approach. When two objects in the same scene obey the same physical law, their motions must satisfy predictable relationships, and these relationships hold independent of calibration. We introduce Principia, a benchmark that evaluates Newtonian physics through relational consistency between paired objects. Principia spans eight phenomena - gravity, restitution, friction, rotational inertia, projectile motion, momentum, pendulum, and mass-spring oscillation - across translational, rotational, collisional, and oscillatory dynamics, using real-world scenes recorded under controlled protocols. We also introduce a calibration-independent consistency score that quantifies physical violation directly in image space. Across thousands of generations from six state-of-the-art video generators, no model exceeds 0.42 on Principia despite all scoring around 0.8 on VBench. Vision-language models are evaluated on their ability to detect relational physics violations, with the best model achieving only 67% accuracy and most performing near chance level.