GauFRe: Campos de Deformación Gaussiana para la Síntesis Dinámica de Nuevas Vistas en Tiempo Real

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

Autores: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

Resumen

Proponemos un método para la reconstrucción dinámica de escenas utilizando gaussianas 3D deformables, diseñado específicamente para video monocular. Basándonos en la eficiencia del splatting gaussiano, nuestro enfoque extiende la representación para acomodar elementos dinámicos mediante un conjunto deformable de gaussianas ubicadas en un espacio canónico, y un campo de deformación dependiente del tiempo definido por un perceptrón multicapa (MLP). Además, bajo el supuesto de que la mayoría de las escenas naturales tienen grandes regiones que permanecen estáticas, permitimos que el MLP enfoque su capacidad de representación incluyendo adicionalmente una nube de puntos gaussiana estática. Las nubes de puntos dinámicas y estáticas concatenadas forman la entrada para el rasterizador de Gaussian Splatting, permitiendo la renderización en tiempo real. La pipeline diferenciable se optimiza de extremo a extremo con una pérdida de renderización autosupervisada. Nuestro método logra resultados comparables a los métodos de campos de radiancia neural dinámicos de última generación, permitiendo una optimización y renderización mucho más rápida. Sitio web del proyecto: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html