Verdwaald in Latente Ruimte: Een Empirische Studie naar Latente Diffusiemodellen voor Natuurkundige Emulatie

Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation

July 3, 2025

Auteurs: François Rozet, Ruben Ohana, Michael McCabe, Gilles Louppe, François Lanusse, Shirley Ho

cs.AI

Samenvatting

De hoge rekenkosten van diffusiemodellen tijdens inferentie belemmeren hun gebruik als snelle fysica-emulatoren. In de context van beeld- en videogeneratie is dit rekenkundige nadeel aangepakt door te genereren in de latente ruimte van een auto-encoder in plaats van in de pixelruimte. In dit werk onderzoeken we of een vergelijkbare strategie effectief kan worden toegepast op de emulatie van dynamische systemen en tegen welke kosten. We ontdekken dat de nauwkeurigheid van emulatie in de latente ruimte verrassend robuust is voor een breed scala aan compressieverhoudingen (tot 1000x). We laten ook zien dat op diffusie gebaseerde emulatoren consistent nauwkeuriger zijn dan niet-generatieve tegenhangers en onzekerheid in hun voorspellingen compenseren met een grotere diversiteit. Tot slot bespreken we praktische ontwerpkeuzes, variërend van architecturen tot optimalisatoren, die we cruciaal vonden voor het trainen van emulatoren in de latente ruimte.

English

The steep computational cost of diffusion models at inference hinders their use as fast physics emulators. In the context of image and video generation, this computational drawback has been addressed by generating in the latent space of an autoencoder instead of the pixel space. In this work, we investigate whether a similar strategy can be effectively applied to the emulation of dynamical systems and at what cost. We find that the accuracy of latent-space emulation is surprisingly robust to a wide range of compression rates (up to 1000x). We also show that diffusion-based emulators are consistently more accurate than non-generative counterparts and compensate for uncertainty in their predictions with greater diversity. Finally, we cover practical design choices, spanning from architectures to optimizers, that we found critical to train latent-space emulators.