WildSmoke: 단일 야외 동영상에서 바로 사용 가능한 동적 3D 연기 애셋 생성

초록

단일 야외 동영상에서 동적 3D 연기 애셋을 추출하고 재구성하며, 이를 기반으로 연기 디자인 및 편집을 위한 인터랙티브 시뮬레이션을 통합하는 파이프라인을 제안합니다. 최근 3D 비전 기술의 발전으로 유체 역학의 재구성 및 렌더링이 크게 개선되어 사실적이고 시간적으로 일관된 뷰 합성이 가능해졌습니다. 그러나 현재의 유체 재구성 기술은 주로 철저히 통제된 깨끗한 실험실 환경에 의존하고 있으며, 야외에서 촬영된 실제 동영상은 상대적으로 덜 탐구된 상태입니다. 우리는 야외 동영상에서 연기를 재구성하는 데 있어 세 가지 주요 과제를 식별하고, 이를 해결하기 위한 기술을 설계했습니다. 이 기술에는 배경 제거를 통한 연기 추출, 연기 입자 및 카메라 포즈 초기화, 그리고 다중 뷰 동영상 추론이 포함됩니다. 우리의 방법은 이전의 재구성 및 생성 방법을 뛰어넘는 고품질 연기 재구성(야외 동영상에서 평균 PSNR +2.22)을 제공할 뿐만 아니라, 연기 애셋을 시뮬레이션함으로써 다양한 사실적인 유체 역학 편집을 가능하게 합니다. 우리는 모델, 데이터, 그리고 4D 연기 애셋을 [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke)에서 제공합니다.

English

We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from a single in-the-wild video, and further integrate interactive simulation for smoke design and editing. Recent developments in 3D vision have significantly improved reconstructing and rendering fluid dynamics, supporting realistic and temporally consistent view synthesis. However, current fluid reconstructions rely heavily on carefully controlled clean lab environments, whereas real-world videos captured in the wild are largely underexplored. We pinpoint three key challenges of reconstructing smoke in real-world videos and design targeted techniques, including smoke extraction with background removal, initialization of smoke particles and camera poses, and inferring multi-view videos. Our method not only outperforms previous reconstruction and generation methods with high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but also enables diverse and realistic editing of fluid dynamics by simulating our smoke assets. We provide our models, data, and 4D smoke assets at [https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).

WildSmoke: 단일 야외 동영상에서 바로 사용 가능한 동적 3D 연기 애셋 생성

WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild

초록

Support