潜在空間における迷走：物理エミュレーションのための潜在拡散モデルの実証的研究

要旨

拡散モデルの推論時の高い計算コストは、高速な物理エミュレータとしての使用を妨げる要因となっている。画像や動画生成の文脈では、この計算上の欠点は、ピクセル空間ではなくオートエンコーダの潜在空間で生成を行うことで対処されてきた。本研究では、同様の戦略が動的システムのエミュレーションに効果的に適用できるか、またその際のコストについて調査する。その結果、潜在空間でのエミュレーションの精度は、広範囲の圧縮率（最大1000倍）に対して驚くほど頑健であることがわかった。また、拡散ベースのエミュレータは、非生成的モデルと比較して一貫して高精度であり、予測の不確実性を補うために多様性を高めることも示された。最後に、潜在空間エミュレータの訓練において重要な、アーキテクチャからオプティマイザに至る実践的な設計選択についても取り上げる。

English

The steep computational cost of diffusion models at inference hinders their use as fast physics emulators. In the context of image and video generation, this computational drawback has been addressed by generating in the latent space of an autoencoder instead of the pixel space. In this work, we investigate whether a similar strategy can be effectively applied to the emulation of dynamical systems and at what cost. We find that the accuracy of latent-space emulation is surprisingly robust to a wide range of compression rates (up to 1000x). We also show that diffusion-based emulators are consistently more accurate than non-generative counterparts and compensate for uncertainty in their predictions with greater diversity. Finally, we cover practical design choices, spanning from architectures to optimizers, that we found critical to train latent-space emulators.

潜在空間における迷走：物理エミュレーションのための潜在拡散モデルの実証的研究

Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation

要旨

Support