WildSmoke: Recursos Dinámicos de Humo 3D Listos para Usar a partir de un Único Video en Entornos Naturales

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

Autores: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

Resumen

Proponemos un pipeline para extraer y reconstruir activos 3D dinámicos de humo a partir de un único video capturado en entornos naturales, y además integrar simulación interactiva para el diseño y edición de humo. Los avances recientes en visión 3D han mejorado significativamente la reconstrucción y renderización de dinámicas de fluidos, permitiendo una síntesis de vistas realista y temporalmente consistente. Sin embargo, las reconstrucciones actuales de fluidos dependen en gran medida de entornos de laboratorio cuidadosamente controlados, mientras que los videos del mundo real capturados en entornos naturales han sido poco explorados. Identificamos tres desafíos clave en la reconstrucción de humo en videos del mundo real y diseñamos técnicas específicas, que incluyen la extracción de humo con eliminación de fondo, la inicialización de partículas de humo y poses de cámara, y la inferencia de videos multivista. Nuestro método no solo supera a los métodos anteriores de reconstrucción y generación con reconstrucciones de humo de alta calidad (+2.22 PSNR promedio en videos naturales), sino que también permite una edición diversa y realista de dinámicas de fluidos mediante la simulación de nuestros activos de humo. Proporcionamos nuestros modelos, datos y activos 4D de humo en [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).