LikePhys: Bewertung des intuitiven Physikverständnisses in Video-Diffusionsmodellen durch Likelihood-Präferenz

LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference

October 13, 2025

papers.authors: Jianhao Yuan, Fabio Pizzati, Francesco Pinto, Lars Kunze, Ivan Laptev, Paul Newman, Philip Torr, Daniele De Martini

cs.AI

papers.abstract

Das intuitive physikalische Verständnis in Video-Diffusionsmodellen spielt eine wesentliche Rolle bei der Entwicklung allgemeiner physikalisch plausibler Weltsimulatoren. Dennoch bleibt die genaue Bewertung dieser Fähigkeit eine herausfordernde Aufgabe, da es schwierig ist, die physikalische Korrektheit von der visuellen Erscheinung in der Generierung zu trennen. Zu diesem Zweck führen wir LikePhys ein, eine trainingsfreie Methode, die das intuitive physikalische Verständnis in Video-Diffusionsmodellen bewertet, indem sie physikalisch gültige und unmögliche Videos anhand des Denoising-Ziels als ELBO-basierte Likelihood-Ersatzgröße auf einem kuratierten Datensatz von gültig-ungültig-Paaren unterscheidet. Durch Tests auf unserem konstruierten Benchmark mit zwölf Szenarien, die vier physikalische Domänen umfassen, zeigen wir, dass unsere Bewertungsmetrik, der Plausibility Preference Error (PPE), eine starke Übereinstimmung mit menschlichen Präferenzen aufweist und state-of-the-art Bewertungsbaselines übertrifft. Anschließend bewerten wir systematisch das intuitive physikalische Verständnis in aktuellen Video-Diffusionsmodellen. Unsere Studie analysiert weiterhin, wie Modellgestaltung und Inferenzeinstellungen das intuitive physikalische Verständnis beeinflussen, und hebt domänenspezifische Kapazitätsvariationen über physikalische Gesetze hinweg hervor. Empirische Ergebnisse zeigen, dass, obwohl aktuelle Modelle mit komplexen und chaotischen Dynamiken kämpfen, es einen klaren Trend der Verbesserung im physikalischen Verständnis gibt, wenn die Modellkapazität und die Inferenzeinstellungen skaliert werden.

English

Intuitive physics understanding in video diffusion models plays an essential role in building general-purpose physically plausible world simulators, yet accurately evaluating such capacity remains a challenging task due to the difficulty in disentangling physics correctness from visual appearance in generation. To the end, we introduce LikePhys, a training-free method that evaluates intuitive physics in video diffusion models by distinguishing physically valid and impossible videos using the denoising objective as an ELBO-based likelihood surrogate on a curated dataset of valid-invalid pairs. By testing on our constructed benchmark of twelve scenarios spanning over four physics domains, we show that our evaluation metric, Plausibility Preference Error (PPE), demonstrates strong alignment with human preference, outperforming state-of-the-art evaluator baselines. We then systematically benchmark intuitive physics understanding in current video diffusion models. Our study further analyses how model design and inference settings affect intuitive physics understanding and highlights domain-specific capacity variations across physical laws. Empirical results show that, despite current models struggling with complex and chaotic dynamics, there is a clear trend of improvement in physics understanding as model capacity and inference settings scale.