GFlow: Ricostruzione del Mondo 4D da Video Monoculare

Abstract

Ricostruire scene 4D da input video è un compito cruciale ma impegnativo. I metodi convenzionali si basano solitamente su presupposti come input video multi-vista, parametri della camera noti o scene statiche, tutti elementi tipicamente assenti negli scenari reali. In questo articolo, rilassiamo tutti questi vincoli e affrontiamo un compito altamente ambizioso ma pratico, che abbiamo denominato AnyV4D: assumiamo che sia disponibile solo un video monoculare senza alcun parametro della camera come input, e miriamo a ricostruire il mondo dinamico 4D insieme alle pose della camera. A tal fine, introduciamo GFlow, un nuovo framework che utilizza solo prior 2D (profondità e flusso ottico) per elevare un video (3D) a una rappresentazione esplicita 4D, implicando un flusso di splatting Gaussiano attraverso lo spazio e il tempo. GFlow prima raggruppa la scena in parti statiche e in movimento, quindi applica un processo di ottimizzazione sequenziale che ottimizza le pose della camera e la dinamica dei punti Gaussiani 3D basandosi sui prior 2D e sul raggruppamento della scena, garantendo fedeltà tra punti vicini e movimento fluido tra i fotogrammi. Poiché le scene dinamiche introducono sempre nuovi contenuti, proponiamo anche una nuova strategia di densificazione pixel-wise per i punti Gaussiani per integrare nuovi contenuti visivi. Inoltre, GFlow trascende i confini della mera ricostruzione 4D; consente anche il tracciamento di qualsiasi punto tra i fotogrammi senza la necessità di un addestramento preliminare e segmenta gli oggetti in movimento dalla scena in modo non supervisionato. In aggiunta, le pose della camera di ogni fotogramma possono essere derivate da GFlow, permettendo di renderizzare nuove viste di una scena video attraverso il cambiamento della posa della camera. Utilizzando la rappresentazione esplicita, possiamo facilmente condurre modifiche a livello di scena o di oggetto come desiderato, sottolineando la sua versatilità e potenza. Visita il nostro sito del progetto all'indirizzo: https://littlepure2333.github.io/GFlow

English

Reconstructing 4D scenes from video inputs is a crucial yet challenging task. Conventional methods usually rely on the assumptions of multi-view video inputs, known camera parameters, or static scenes, all of which are typically absent under in-the-wild scenarios. In this paper, we relax all these constraints and tackle a highly ambitious but practical task, which we termed as AnyV4D: we assume only one monocular video is available without any camera parameters as input, and we aim to recover the dynamic 4D world alongside the camera poses. To this end, we introduce GFlow, a new framework that utilizes only 2D priors (depth and optical flow) to lift a video (3D) to a 4D explicit representation, entailing a flow of Gaussian splatting through space and time. GFlow first clusters the scene into still and moving parts, then applies a sequential optimization process that optimizes camera poses and the dynamics of 3D Gaussian points based on 2D priors and scene clustering, ensuring fidelity among neighboring points and smooth movement across frames. Since dynamic scenes always introduce new content, we also propose a new pixel-wise densification strategy for Gaussian points to integrate new visual content. Moreover, GFlow transcends the boundaries of mere 4D reconstruction; it also enables tracking of any points across frames without the need for prior training and segments moving objects from the scene in an unsupervised way. Additionally, the camera poses of each frame can be derived from GFlow, allowing for rendering novel views of a video scene through changing camera pose. By employing the explicit representation, we may readily conduct scene-level or object-level editing as desired, underscoring its versatility and power. Visit our project website at: https://littlepure2333.github.io/GFlow

GFlow: Ricostruzione del Mondo 4D da Video Monoculare

GFlow: Recovering 4D World from Monocular Video

Abstract

Support