PhysicsGen: I modelli generativi possono apprendere dalle immagini per prevedere relazioni fisiche complesse?
PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?
March 7, 2025
Autori: Martin Spitznagel, Jan Vaillant, Janis Keuper
cs.AI
Abstract
Le capacità di traduzione immagine-immagine dei modelli di apprendimento generativo hanno recentemente compiuto progressi significativi nella stima di mappature complesse (guidate) tra distribuzioni di immagini. Mentre compiti basati sull'aspetto come il riempimento di immagini o il trasferimento di stile sono stati ampiamente studiati, proponiamo di investigare il potenziale dei modelli generativi nel contesto delle simulazioni fisiche. Fornendo un dataset di 300.000 coppie di immagini e valutazioni di base per tre diverse attività di simulazione fisica, proponiamo un benchmark per esplorare le seguenti domande di ricerca: i) i modelli generativi sono in grado di apprendere relazioni fisiche complesse da coppie di immagini input-output? ii) quali accelerazioni possono essere ottenute sostituendo le simulazioni basate su equazioni differenziali? Mentre le valutazioni di base di diversi modelli attuali mostrano il potenziale per elevate accelerazioni (ii), questi risultati evidenziano anche forti limitazioni riguardo alla correttezza fisica (i). Ciò sottolinea la necessità di nuovi metodi per garantire la correttezza fisica. Dati, modelli di base e codice di valutazione sono disponibili su http://www.physics-gen.org.
English
The image-to-image translation abilities of generative learning models have
recently made significant progress in the estimation of complex (steered)
mappings between image distributions. While appearance based tasks like image
in-painting or style transfer have been studied at length, we propose to
investigate the potential of generative models in the context of physical
simulations. Providing a dataset of 300k image-pairs and baseline evaluations
for three different physical simulation tasks, we propose a benchmark to
investigate the following research questions: i) are generative models able to
learn complex physical relations from input-output image pairs? ii) what
speedups can be achieved by replacing differential equation based simulations?
While baseline evaluations of different current models show the potential for
high speedups (ii), these results also show strong limitations toward the
physical correctness (i). This underlines the need for new methods to enforce
physical correctness. Data, baseline models and evaluation code
http://www.physics-gen.org.