WildSmoke: Готовые к использованию динамические 3D-ассеты дыма из одного видео в естественных условиях

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

Авторы: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

Аннотация

Мы предлагаем конвейер для извлечения и реконструкции динамических 3D-моделей дыма из одного видеоролика, снятого в естественных условиях, с последующей интеграцией интерактивного моделирования для проектирования и редактирования дыма. Последние достижения в области 3D-визуализации значительно улучшили реконструкцию и рендеринг динамики жидкостей, обеспечивая реалистичный и временно согласованный синтез изображений. Однако текущие методы реконструкции жидкостей в значительной степени зависят от тщательно контролируемых лабораторных условий, тогда как видеоролики, снятые в реальных условиях, остаются малоизученными. Мы выделяем три ключевые проблемы реконструкции дыма в видеороликах из реального мира и разрабатываем целевые методы, включая извлечение дыма с удалением фона, инициализацию частиц дыма и позиций камеры, а также вывод многовидовых видеороликов. Наш метод не только превосходит предыдущие подходы к реконструкции и генерации, обеспечивая высококачественную реконструкцию дыма (+2.22 среднего PSNR на видеороликах из реального мира), но также позволяет выполнять разнообразное и реалистичное редактирование динамики жидкостей путем моделирования наших 3D-моделей дыма. Мы предоставляем наши модели, данные и 4D-модели дыма по адресу [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).