Perdido no Espaço Latente: Um Estudo Empírico sobre Modelos de Difusão Latente para Emulação de Física

Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation

July 3, 2025

Autores: François Rozet, Ruben Ohana, Michael McCabe, Gilles Louppe, François Lanusse, Shirley Ho

cs.AI

Resumo

O alto custo computacional dos modelos de difusão durante a inferência dificulta seu uso como emuladores físicos rápidos. No contexto de geração de imagens e vídeos, essa desvantagem computacional foi abordada gerando no espaço latente de um autoencoder em vez do espaço de pixels. Neste trabalho, investigamos se uma estratégia semelhante pode ser aplicada de forma eficaz à emulação de sistemas dinâmicos e a que custo. Descobrimos que a precisão da emulação no espaço latente é surpreendentemente robusta a uma ampla gama de taxas de compressão (até 1000x). Também mostramos que os emuladores baseados em difusão são consistentemente mais precisos do que suas contrapartes não generativas e compensam a incerteza em suas previsões com maior diversidade. Por fim, abordamos escolhas práticas de design, desde arquiteturas até otimizadores, que consideramos críticas para o treinamento de emuladores no espaço latente.

English

The steep computational cost of diffusion models at inference hinders their use as fast physics emulators. In the context of image and video generation, this computational drawback has been addressed by generating in the latent space of an autoencoder instead of the pixel space. In this work, we investigate whether a similar strategy can be effectively applied to the emulation of dynamical systems and at what cost. We find that the accuracy of latent-space emulation is surprisingly robust to a wide range of compression rates (up to 1000x). We also show that diffusion-based emulators are consistently more accurate than non-generative counterparts and compensate for uncertainty in their predictions with greater diversity. Finally, we cover practical design choices, spanning from architectures to optimizers, that we found critical to train latent-space emulators.