WildSmoke: Sofort einsetzbare dynamische 3D-Rauch-Assets aus einem einzelnen Video in unkontrollierter Umgebung

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

papers.authors: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

papers.abstract

Wir schlagen eine Pipeline vor, um dynamische 3D-Rauch-Assets aus einem einzelnen Video in freier Umgebung zu extrahieren und zu rekonstruieren und diese weiterhin für interaktive Simulationen zur Rauchgestaltung und -bearbeitung zu integrieren. Jüngste Entwicklungen im Bereich der 3D-Vision haben die Rekonstruktion und das Rendering von Fluiddynamik erheblich verbessert, was realistische und zeitlich konsistente Ansichtssynthesen ermöglicht. Allerdings stützen sich aktuelle Rekonstruktionen von Fluiden stark auf sorgfältig kontrollierte Laborumgebungen, während Videos aus der realen Welt, die in freier Umgebung aufgenommen wurden, weitgehend unerforscht bleiben. Wir identifizieren drei zentrale Herausforderungen bei der Rekonstruktion von Rauch in realen Videos und entwickeln gezielte Techniken, darunter die Rauch-Extraktion mit Hintergrundentfernung, die Initialisierung von Rauchpartikeln und Kamerapositionen sowie die Inferenz von Multi-View-Videos. Unsere Methode übertrifft nicht nur bisherige Rekonstruktions- und Generierungsverfahren durch hochwertige Rauch-Rekonstruktionen (+2,22 durchschnittlicher PSNR bei Videos in freier Umgebung), sondern ermöglicht auch vielfältige und realistische Bearbeitungen der Fluiddynamik durch die Simulation unserer Rauch-Assets. Wir stellen unsere Modelle, Daten und 4D-Rauch-Assets unter [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke) zur Verfügung.

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).