LikePhys: Оценка интуитивного понимания физики в моделях диффузии видео через предпочтение правдоподобия

LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference

October 13, 2025

Авторы: Jianhao Yuan, Fabio Pizzati, Francesco Pinto, Lars Kunze, Ivan Laptev, Paul Newman, Philip Torr, Daniele De Martini

cs.AI

Аннотация

Понимание интуитивной физики в моделях диффузии видео играет ключевую роль в создании универсальных симуляторов физически правдоподобных миров. Однако точная оценка такой способности остается сложной задачей из-за трудности разделения корректности физики и визуального качества в генерации. Для решения этой проблемы мы представляем LikePhys — метод, не требующий обучения, который оценивает интуитивную физику в моделях диффузии видео, различая физически корректные и невозможные видео с использованием задачи удаления шума как суррогата правдоподобия на основе ELBO на специально подготовленном наборе данных из пар "корректные-некорректные". Тестируя на нашем бенчмарке из двенадцати сценариев, охватывающих четыре области физики, мы показываем, что наша метрика оценки, Ошибка Предпочтения Правдоподобия (PPE), демонстрирует сильное соответствие с человеческими предпочтениями, превосходя современные базовые методы оценки. Затем мы систематически оцениваем понимание интуитивной физики в текущих моделях диффузии видео. Наше исследование также анализирует, как дизайн модели и настройки вывода влияют на понимание интуитивной физики, и выделяет вариации способностей в зависимости от физических законов. Эмпирические результаты показывают, что, несмотря на трудности текущих моделей с сложной и хаотической динамикой, наблюдается четкая тенденция улучшения понимания физики по мере увеличения емкости модели и настроек вывода.

English

Intuitive physics understanding in video diffusion models plays an essential role in building general-purpose physically plausible world simulators, yet accurately evaluating such capacity remains a challenging task due to the difficulty in disentangling physics correctness from visual appearance in generation. To the end, we introduce LikePhys, a training-free method that evaluates intuitive physics in video diffusion models by distinguishing physically valid and impossible videos using the denoising objective as an ELBO-based likelihood surrogate on a curated dataset of valid-invalid pairs. By testing on our constructed benchmark of twelve scenarios spanning over four physics domains, we show that our evaluation metric, Plausibility Preference Error (PPE), demonstrates strong alignment with human preference, outperforming state-of-the-art evaluator baselines. We then systematically benchmark intuitive physics understanding in current video diffusion models. Our study further analyses how model design and inference settings affect intuitive physics understanding and highlights domain-specific capacity variations across physical laws. Empirical results show that, despite current models struggling with complex and chaotic dynamics, there is a clear trend of improvement in physics understanding as model capacity and inference settings scale.