WildSmoke: Ativos Dinâmicos de Fumaça 3D Prontos para Uso a Partir de um Único Vídeo em Ambientes Reais

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

Autores: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

Resumo

Propomos um pipeline para extrair e reconstruir ativos 3D dinâmicos de fumaça a partir de um único vídeo capturado em ambiente natural, além de integrar simulação interativa para o design e edição de fumaça. Os recentes avanços em visão 3D melhoraram significativamente a reconstrução e renderização de dinâmicas de fluidos, suportando a síntese de visões realistas e temporalmente consistentes. No entanto, as reconstruções atuais de fluidos dependem fortemente de ambientes controlados e limpos em laboratório, enquanto vídeos do mundo real capturados em ambientes naturais permanecem amplamente inexplorados. Identificamos três desafios principais na reconstrução de fumaça em vídeos do mundo real e projetamos técnicas específicas, incluindo a extração de fumaça com remoção de fundo, inicialização de partículas de fumaça e poses da câmera, e inferência de vídeos multiview. Nosso método não apenas supera métodos anteriores de reconstrução e geração com reconstruções de fumaça de alta qualidade (+2,22 PSNR médio em vídeos naturais), mas também permite uma edição diversificada e realista das dinâmicas de fluidos ao simular nossos ativos de fumaça. Disponibilizamos nossos modelos, dados e ativos 4D de fumaça em [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).