PhysicsGen : Les modèles génératifs peuvent-ils apprendre à partir d'images pour prédire des relations physiques complexes ?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Auteurs: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Résumé

Les capacités de traduction image-à-image des modèles d'apprentissage génératif ont récemment réalisé des progrès significatifs dans l'estimation de correspondances complexes (guidées) entre distributions d'images. Alors que les tâches basées sur l'apparence comme la complétion d'images ou le transfert de style ont été largement étudiées, nous proposons d'explorer le potentiel des modèles génératifs dans le contexte des simulations physiques. En fournissant un jeu de données de 300 000 paires d'images et des évaluations de référence pour trois tâches différentes de simulation physique, nous proposons un benchmark pour étudier les questions de recherche suivantes : i) les modèles génératifs sont-ils capables d'apprendre des relations physiques complexes à partir de paires d'images entrée-sortie ? ii) quelles accélérations peuvent être obtenues en remplaçant les simulations basées sur des équations différentielles ? Alors que les évaluations de référence de différents modèles actuels montrent un potentiel d'accélération important (ii), ces résultats révèlent également de fortes limitations concernant la justesse physique (i). Cela souligne la nécessité de nouvelles méthodes pour garantir la justesse physique. Données, modèles de référence et code d'évaluation disponibles sur http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.