GauFRe : Champs de déformation gaussienne pour la synthèse dynamique en temps réel de nouvelles vues

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

Auteurs: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

Résumé

Nous proposons une méthode pour la reconstruction dynamique de scènes en utilisant des Gaussiennes 3D déformables, spécifiquement adaptée aux vidéos monoculaires. En s'appuyant sur l'efficacité du lissage par Gaussiennes, notre approche étend cette représentation pour intégrer des éléments dynamiques via un ensemble déformable de Gaussiennes situées dans un espace canonique, ainsi qu'un champ de déformation dépendant du temps défini par un perceptron multicouche (MLP). De plus, en supposant que la plupart des scènes naturelles comportent de grandes régions statiques, nous permettons au MLP de concentrer sa capacité de représentation en incluant également un nuage de points Gaussien statique. Les nuages de points dynamiques et statiques concaténés forment l'entrée du rasteriseur de lissage par Gaussiennes, permettant un rendu en temps réel. Le pipeline différentiable est optimisé de bout en bout avec une fonction de perte de rendu auto-supervisée. Notre méthode obtient des résultats comparables aux méthodes de champs de radiance neuronaux dynamiques de pointe, tout en permettant une optimisation et un rendu beaucoup plus rapides. Site du projet : https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html