WildSmoke: Risorse 3D dinamiche pronte all'uso per il fumo generate da un singolo video in contesti reali

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

Autori: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

Abstract

Proponiamo una pipeline per estrarre e ricostruire asset 3D dinamici di fumo da un singolo video catturato in contesti reali, integrando ulteriormente una simulazione interattiva per la progettazione e la modifica del fumo. I recenti sviluppi nella visione 3D hanno migliorato significativamente la ricostruzione e il rendering della dinamica dei fluidi, supportando una sintesi di visualizzazione realistica e temporalmente coerente. Tuttavia, le attuali ricostruzioni di fluidi si basano fortemente su ambienti di laboratorio controllati e puliti, mentre i video del mondo reale catturati in contesti non controllati sono ancora poco esplorati. Identifichiamo tre sfide chiave nella ricostruzione del fumo da video reali e progettiamo tecniche mirate, tra cui l'estrazione del fumo con rimozione dello sfondo, l'inizializzazione delle particelle di fumo e delle pose della telecamera, e l'inferenza di video multi-vista. Il nostro metodo non solo supera i precedenti metodi di ricostruzione e generazione con ricostruzioni di fumo di alta qualità (+2.22 PSNR medio su video reali), ma consente anche una modifica diversificata e realistica della dinamica dei fluidi simulando i nostri asset di fumo. Forniamo i nostri modelli, dati e asset 4D di fumo all'indirizzo [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).