WildSmoke : Ressources 3D dynamiques de fumée prêtes à l'emploi à partir d'une seule vidéo en conditions réelles

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

papers.authors: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

papers.abstract

Nous proposons une pipeline pour extraire et reconstruire des éléments de fumée dynamiques en 3D à partir d'une seule vidéo capturée en conditions réelles, et intégrer ensuite une simulation interactive pour la conception et l'édition de fumée. Les récents progrès en vision 3D ont considérablement amélioré la reconstruction et le rendu de la dynamique des fluides, permettant une synthèse d'images réalistes et temporellement cohérentes. Cependant, les reconstructions de fluides actuelles reposent fortement sur des environnements de laboratoire soigneusement contrôlés, tandis que les vidéos du monde réel capturées en conditions naturelles restent largement inexplorées. Nous identifions trois défis majeurs dans la reconstruction de fumée à partir de vidéos réelles et concevons des techniques ciblées, incluant l'extraction de fumée avec suppression de l'arrière-plan, l'initialisation des particules de fumée et des poses de caméra, ainsi que l'inférence de vidéos multi-vues. Notre méthode surpasse non seulement les approches précédentes de reconstruction et de génération avec des reconstructions de fumée de haute qualité (+2,22 PSNR en moyenne sur les vidéos réelles), mais permet également une édition diversifiée et réaliste de la dynamique des fluides en simulant nos éléments de fumée. Nous mettons à disposition nos modèles, données et éléments de fumée 4D sur [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).