PhysicsGen: ¿Pueden los modelos generativos aprender de imágenes para predecir relaciones físicas complejas?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Autores: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Resumen

Las capacidades de traducción de imagen a imagen de los modelos de aprendizaje generativo han experimentado avances significativos recientemente en la estimación de mapeos complejos (dirigidos) entre distribuciones de imágenes. Si bien tareas basadas en apariencia, como la restauración de imágenes o la transferencia de estilo, han sido ampliamente estudiadas, proponemos investigar el potencial de los modelos generativos en el contexto de simulaciones físicas. Al proporcionar un conjunto de datos de 300k pares de imágenes y evaluaciones de referencia para tres tareas diferentes de simulación física, proponemos un punto de referencia para investigar las siguientes preguntas de investigación: i) ¿son los modelos generativos capaces de aprender relaciones físicas complejas a partir de pares de imágenes de entrada-salida? ii) ¿qué aceleraciones se pueden lograr al reemplazar simulaciones basadas en ecuaciones diferenciales? Si bien las evaluaciones de referencia de diferentes modelos actuales muestran el potencial de altas aceleraciones (ii), estos resultados también muestran fuertes limitaciones en cuanto a la corrección física (i). Esto subraya la necesidad de nuevos métodos para garantizar la corrección física. Datos, modelos de referencia y código de evaluación en http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.