LikePhys: Avaliando a Compreensão de Física Intuitiva em Modelos de Difusão de Vídeo por meio de Preferência de Verossimilhança

LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference

October 13, 2025

Autores: Jianhao Yuan, Fabio Pizzati, Francesco Pinto, Lars Kunze, Ivan Laptev, Paul Newman, Philip Torr, Daniele De Martini

cs.AI

Resumo

A compreensão intuitiva da física em modelos de difusão de vídeo desempenha um papel essencial na construção de simuladores de mundo fisicamente plausíveis de propósito geral. No entanto, avaliar com precisão essa capacidade continua sendo uma tarefa desafiadora devido à dificuldade de separar a correção física da aparência visual na geração. Para tanto, introduzimos o LikePhys, um método livre de treinamento que avalia a física intuitiva em modelos de difusão de vídeo, distinguindo vídeos fisicamente válidos e impossíveis usando o objetivo de remoção de ruído como um substituto de verossimilhança baseado em ELBO (Evidence Lower Bound) em um conjunto de dados curado de pares válidos-inválidos. Ao testar em nosso benchmark construído de doze cenários abrangendo quatro domínios da física, mostramos que nossa métrica de avaliação, o Erro de Preferência de Plausibilidade (PPE), demonstra uma forte alinhamento com a preferência humana, superando os avaliadores de última geração. Em seguida, avaliamos sistematicamente a compreensão intuitiva da física nos modelos atuais de difusão de vídeo. Nosso estudo ainda analisa como o design do modelo e as configurações de inferência afetam a compreensão intuitiva da física e destaca variações de capacidade específicas de domínio entre as leis físicas. Resultados empíricos mostram que, apesar dos modelos atuais enfrentarem dificuldades com dinâmicas complexas e caóticas, há uma clara tendência de melhoria na compreensão da física à medida que a capacidade do modelo e as configurações de inferência escalam.

English

Intuitive physics understanding in video diffusion models plays an essential role in building general-purpose physically plausible world simulators, yet accurately evaluating such capacity remains a challenging task due to the difficulty in disentangling physics correctness from visual appearance in generation. To the end, we introduce LikePhys, a training-free method that evaluates intuitive physics in video diffusion models by distinguishing physically valid and impossible videos using the denoising objective as an ELBO-based likelihood surrogate on a curated dataset of valid-invalid pairs. By testing on our constructed benchmark of twelve scenarios spanning over four physics domains, we show that our evaluation metric, Plausibility Preference Error (PPE), demonstrates strong alignment with human preference, outperforming state-of-the-art evaluator baselines. We then systematically benchmark intuitive physics understanding in current video diffusion models. Our study further analyses how model design and inference settings affect intuitive physics understanding and highlights domain-specific capacity variations across physical laws. Empirical results show that, despite current models struggling with complex and chaotic dynamics, there is a clear trend of improvement in physics understanding as model capacity and inference settings scale.