PhysicsGen: Modelos Generativos Podem Aprender com Imagens para Prever Relações Físicas Complexas?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Autores: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Resumo

As habilidades de tradução imagem-a-imagem dos modelos de aprendizado generativo tiveram progressos significativos recentemente na estimativa de mapeamentos complexos (direcionados) entre distribuições de imagens. Embora tarefas baseadas em aparência, como preenchimento de imagens ou transferência de estilo, tenham sido extensivamente estudadas, propomos investigar o potencial dos modelos generativos no contexto de simulações físicas. Fornecendo um conjunto de dados de 300 mil pares de imagens e avaliações de linha de base para três diferentes tarefas de simulação física, propomos um benchmark para investigar as seguintes questões de pesquisa: i) os modelos generativos são capazes de aprender relações físicas complexas a partir de pares de imagens de entrada e saída? ii) quais acelerações podem ser alcançadas ao substituir simulações baseadas em equações diferenciais? Embora as avaliações de linha de base de diferentes modelos atuais mostrem o potencial para altas acelerações (ii), esses resultados também mostram fortes limitações em relação à correção física (i). Isso ressalta a necessidade de novos métodos para garantir a correção física. Dados, modelos de linha de base e código de avaliação estão disponíveis em http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.