Verloren im latenten Raum: Eine empirische Studie zu latenten Diffusionsmodellen für die Physikemulation

Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation

July 3, 2025

Autoren: François Rozet, Ruben Ohana, Michael McCabe, Gilles Louppe, François Lanusse, Shirley Ho

cs.AI

Zusammenfassung

Die hohen Rechenkosten von Diffusionsmodellen bei der Inferenz behindern ihre Verwendung als schnelle Physik-Emulatoren. Im Kontext der Bild- und Videogenerierung wurde dieser rechnerische Nachteil dadurch angegangen, dass die Generierung im latenten Raum eines Autoencoders statt im Pixelraum erfolgt. In dieser Arbeit untersuchen wir, ob eine ähnliche Strategie effektiv auf die Emulation dynamischer Systeme angewendet werden kann und mit welchen Kosten dies verbunden ist. Wir stellen fest, dass die Genauigkeit der Emulation im latenten Raum überraschend robust gegenüber einer breiten Palette von Kompressionsraten (bis zu 1000x) ist. Wir zeigen auch, dass diffusionsbasierte Emulatoren durchweg genauer sind als nicht-generative Gegenstücke und Unsicherheiten in ihren Vorhersagen durch eine größere Vielfalt ausgleichen. Schließlich behandeln wir praktische Designentscheidungen, von Architekturen bis hin zu Optimierern, die sich als entscheidend für das Training von Emulatoren im latenten Raum erwiesen haben.

English

The steep computational cost of diffusion models at inference hinders their use as fast physics emulators. In the context of image and video generation, this computational drawback has been addressed by generating in the latent space of an autoencoder instead of the pixel space. In this work, we investigate whether a similar strategy can be effectively applied to the emulation of dynamical systems and at what cost. We find that the accuracy of latent-space emulation is surprisingly robust to a wide range of compression rates (up to 1000x). We also show that diffusion-based emulators are consistently more accurate than non-generative counterparts and compensate for uncertainty in their predictions with greater diversity. Finally, we cover practical design choices, spanning from architectures to optimizers, that we found critical to train latent-space emulators.