PhysicsGen: Kunnen generatieve modellen leren van afbeeldingen om complexe fysische relaties te voorspellen?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Auteurs: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Samenvatting

De beeld-naar-beeld vertaalcapaciteiten van generatieve leermodellen hebben recentelijk aanzienlijke vooruitgang geboekt in het schatten van complexe (gestuurde) afbeeldingen tussen beeldverdelingen. Hoewel op uiterlijk gebaseerde taken zoals beeldinpaint of stijloverdracht uitgebreid zijn bestudeerd, stellen wij voor om het potentieel van generatieve modellen te onderzoeken in de context van fysische simulaties. Door een dataset van 300k beeldparen en basislijnevaluaties voor drie verschillende fysische simulatietaken te bieden, stellen wij een benchmark voor om de volgende onderzoeksvragen te onderzoeken: i) zijn generatieve modellen in staat om complexe fysische relaties te leren van invoer-uitvoer beeldparen? ii) welke snelheidswinsten kunnen worden behaald door differentiaalvergelijking gebaseerde simulaties te vervangen? Hoewel basislijnevaluaties van verschillende huidige modellen het potentieel voor hoge snelheidswinsten (ii) laten zien, tonen deze resultaten ook sterke beperkingen ten aanzien van de fysische correctheid (i). Dit benadrukt de noodzaak voor nieuwe methoden om fysische correctheid af te dwingen. Data, basislijmodellen en evaluatiecode zijn beschikbaar op http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.