GauFRe: Gaußsche Deformationsfelder für die Echtzeit-Synthese dynamischer neuer Ansichten

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

papers.authors: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

papers.abstract

Wir schlagen eine Methode zur dynamischen Szenenrekonstruktion mit deformierbaren 3D-Gaußverteilungen vor, die speziell für monokulare Videos entwickelt wurde. Aufbauend auf der Effizienz des Gauß-Splatting erweitert unser Ansatz die Darstellung, um dynamische Elemente durch eine deformierbare Menge von Gaußverteilungen in einem kanonischen Raum und ein zeitabhängiges Deformationsfeld, das durch ein mehrschichtiges Perzeptron (MLP) definiert wird, zu berücksichtigen. Darüber hinaus gehen wir davon aus, dass die meisten natürlichen Szenen große Bereiche aufweisen, die statisch bleiben, und ermöglichen es dem MLP, seine Darstellungskraft zu fokussieren, indem zusätzlich eine statische Gauß-Punktwolke einbezogen wird. Die zusammengefügten dynamischen und statischen Punktwolken bilden die Eingabe für den Gauß-Splatting-Rasterizer, was eine Echtzeit-Rendering ermöglicht. Die differenzierbare Pipeline wird end-to-end mit einem selbstüberwachten Rendering-Verlust optimiert. Unsere Methode erzielt Ergebnisse, die mit state-of-the-art dynamischen Neural Radiance Field-Methoden vergleichbar sind, während sie eine viel schnellere Optimierung und Rendering ermöglicht. Projektwebsite: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html