GFlow: Reconstrucción del mundo 4D a partir de video monocular

GFlow: Recovering 4D World from Monocular Video

May 28, 2024

Autores: Shizun Wang, Xingyi Yang, Qiuhong Shen, Zhenxiang Jiang, Xinchao Wang

cs.AI

Resumen

Reconstruir escenas 4D a partir de entradas de video es una tarea crucial pero desafiante. Los métodos convencionales suelen basarse en supuestos como entradas de video multivista, parámetros de cámara conocidos o escenas estáticas, todos los cuales generalmente están ausentes en escenarios del mundo real. En este artículo, relajamos todas estas restricciones y abordamos una tarea altamente ambiciosa pero práctica, a la que denominamos AnyV4D: asumimos que solo está disponible un video monocular sin ningún parámetro de cámara como entrada, y nuestro objetivo es recuperar el mundo dinámico 4D junto con las poses de la cámara. Para ello, presentamos GFlow, un nuevo marco que utiliza únicamente priores 2D (profundidad y flujo óptico) para elevar un video (3D) a una representación explícita 4D, implicando un flujo de splatting Gaussiano a través del espacio y el tiempo. GFlow primero agrupa la escena en partes estáticas y en movimiento, luego aplica un proceso de optimización secuencial que optimiza las poses de la cámara y la dinámica de puntos Gaussianos 3D basándose en los priores 2D y la agrupación de la escena, asegurando fidelidad entre puntos vecinos y un movimiento suave entre fotogramas. Dado que las escenas dinámicas siempre introducen nuevo contenido, también proponemos una nueva estrategia de densificación píxel a píxel para los puntos Gaussianos, con el fin de integrar nuevo contenido visual. Además, GFlow trasciende los límites de la mera reconstrucción 4D; también permite rastrear cualquier punto a lo largo de los fotogramas sin necesidad de entrenamiento previo y segmenta objetos en movimiento de la escena de manera no supervisada. Adicionalmente, las poses de la cámara de cada fotograma pueden derivarse de GFlow, permitiendo la renderización de nuevas vistas de una escena de video mediante el cambio de la pose de la cámara. Al emplear la representación explícita, podemos realizar fácilmente ediciones a nivel de escena o de objeto según se desee, destacando su versatilidad y potencia. Visite nuestro sitio web del proyecto en: https://littlepure2333.github.io/GFlow

English

Reconstructing 4D scenes from video inputs is a crucial yet challenging task. Conventional methods usually rely on the assumptions of multi-view video inputs, known camera parameters, or static scenes, all of which are typically absent under in-the-wild scenarios. In this paper, we relax all these constraints and tackle a highly ambitious but practical task, which we termed as AnyV4D: we assume only one monocular video is available without any camera parameters as input, and we aim to recover the dynamic 4D world alongside the camera poses. To this end, we introduce GFlow, a new framework that utilizes only 2D priors (depth and optical flow) to lift a video (3D) to a 4D explicit representation, entailing a flow of Gaussian splatting through space and time. GFlow first clusters the scene into still and moving parts, then applies a sequential optimization process that optimizes camera poses and the dynamics of 3D Gaussian points based on 2D priors and scene clustering, ensuring fidelity among neighboring points and smooth movement across frames. Since dynamic scenes always introduce new content, we also propose a new pixel-wise densification strategy for Gaussian points to integrate new visual content. Moreover, GFlow transcends the boundaries of mere 4D reconstruction; it also enables tracking of any points across frames without the need for prior training and segments moving objects from the scene in an unsupervised way. Additionally, the camera poses of each frame can be derived from GFlow, allowing for rendering novel views of a video scene through changing camera pose. By employing the explicit representation, we may readily conduct scene-level or object-level editing as desired, underscoring its versatility and power. Visit our project website at: https://littlepure2333.github.io/GFlow