잠재 공간에서의 방황: 물리 시뮬레이션을 위한 잠재 확산 모델에 대한 실증적 연구

초록

확산 모델의 추론 시 높은 계산 비용은 이를 빠른 물리 현상 에뮬레이터로 사용하는 데 걸림돌이 됩니다. 이미지 및 비디오 생성 분야에서는 픽셀 공간 대신 오토인코더의 잠재 공간에서 생성함으로써 이러한 계산적 단점을 해결해 왔습니다. 본 연구에서는 동적 시스템 에뮬레이션에도 유사한 전략을 효과적으로 적용할 수 있는지, 그리고 그 대가가 무엇인지 조사합니다. 우리는 잠재 공간 에뮬레이션의 정확도가 놀랍도록 다양한 압축률(최대 1000배)에 대해 견고함을 발견했습니다. 또한 확산 기반 에뮬레이터가 비생성적 대안들보다 일관되게 더 정확하며, 예측의 불확실성을 더 큰 다양성으로 보상한다는 것을 보여줍니다. 마지막으로, 잠재 공간 에뮬레이터를 훈련하는 데 있어 중요한 것으로 판단된 아키텍처부터 옵티마이저에 이르는 실용적인 설계 선택 사항들을 다룹니다.

English

The steep computational cost of diffusion models at inference hinders their use as fast physics emulators. In the context of image and video generation, this computational drawback has been addressed by generating in the latent space of an autoencoder instead of the pixel space. In this work, we investigate whether a similar strategy can be effectively applied to the emulation of dynamical systems and at what cost. We find that the accuracy of latent-space emulation is surprisingly robust to a wide range of compression rates (up to 1000x). We also show that diffusion-based emulators are consistently more accurate than non-generative counterparts and compensate for uncertainty in their predictions with greater diversity. Finally, we cover practical design choices, spanning from architectures to optimizers, that we found critical to train latent-space emulators.

잠재 공간에서의 방황: 물리 시뮬레이션을 위한 잠재 확산 모델에 대한 실증적 연구

Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation

초록

Support