WildSmoke：ワイルド環境における単一動画からの即時利用可能な動的3D煙アセット

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

September 14, 2025

著者: Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen

cs.AI

要旨

我々は、単一の実世界動画から動的な3D煙アセットを抽出・再構築し、さらに煙のデザインと編集のためのインタラクティブなシミュレーションを統合するパイプラインを提案する。近年の3Dビジョンの進展により、流体力学の再構築とレンダリングが大幅に改善され、現実的で時間的に一貫したビュー合成が可能となっている。しかし、現在の流体再構築は主に厳密に制御されたクリーンな実験室環境に依存しており、実世界で撮影された動画はほとんど未開拓のままである。我々は、実世界動画における煙の再構築における3つの主要な課題を特定し、背景除去による煙の抽出、煙粒子とカメラポーズの初期化、マルチビュー動画の推論といったターゲットを絞った技術を設計した。我々の手法は、高品質な煙の再構築（実世界動画において平均PSNR +2.22）により、従来の再構築および生成手法を凌駕するだけでなく、煙アセットをシミュレートすることで流体力学の多様で現実的な編集を可能にする。我々は、モデル、データ、および4D煙アセットを[https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke)で提供している。

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).