WildSmoke: Kant-en-klare dynamische 3D-rookassets uit een enkele video in de vrije natuur

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

Auteurs: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

Samenvatting

Wij stellen een pijplijn voor om dynamische 3D rookassets te extraheren en te reconstrueren uit een enkele video die in de praktijk is opgenomen, en deze verder te integreren met interactieve simulatie voor rookontwerp en -bewerking. Recente ontwikkelingen in 3D-visie hebben het reconstrueren en renderen van vloeistofdynamica aanzienlijk verbeterd, wat realistische en temporeel consistente viewsynthese ondersteunt. Huidige reconstructies van vloeistoffen zijn echter sterk afhankelijk van zorgvuldig gecontroleerde laboratoriumomgevingen, terwijl real-world video's die in de praktijk zijn vastgelegd grotendeels onderbelicht blijven. Wij identificeren drie belangrijke uitdagingen bij het reconstrueren van rook in real-world video's en ontwerpen gerichte technieken, waaronder rookextractie met achtergrondverwijdering, initialisatie van rookdeeltjes en cameraposities, en het afleiden van multi-view video's. Onze methode overtreft niet alleen eerdere reconstructie- en generatiemethoden met hoogwaardige rookreconstructies (+2,22 gemiddelde PSNR op real-world video's), maar maakt ook diverse en realistische bewerkingen van vloeistofdynamica mogelijk door onze rookassets te simuleren. Wij bieden onze modellen, data en 4D rookassets aan op [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).