GauFRe: Campi di Deformazione Gaussiana per la Sintesi Dinamica in Tempo Reale di Nuove Visualizzazioni

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

Autori: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

Abstract

Proponiamo un metodo per la ricostruzione dinamica di scene utilizzando Gaussiane 3D deformabili, specificamente progettato per video monoculari. Basandoci sull'efficienza dello splatting Gaussiano, il nostro approccio estende la rappresentazione per includere elementi dinamici attraverso un insieme deformabile di Gaussiane situate in uno spazio canonico, e un campo di deformazione dipendente dal tempo definito da un perceptron multistrato (MLP). Inoltre, partendo dall'assunzione che la maggior parte delle scene naturali presenti ampie regioni statiche, permettiamo all'MLP di concentrare la sua capacità rappresentativa includendo anche una nuvola di punti Gaussiana statica. Le nuvole di punti dinamiche e statiche concatenate formano l'input per il rasterizzatore di Gaussian Splatting, consentendo il rendering in tempo reale. La pipeline differenziabile viene ottimizzata end-to-end con una funzione di perdita di rendering auto-supervisionata. Il nostro metodo ottiene risultati comparabili ai metodi all'avanguardia basati su campi di radianza neurali dinamici, consentendo al contempo un'ottimizzazione e un rendering molto più rapidi. Sito web del progetto: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html