GauFRe: Gaussische Vervormingsvelden voor Real-time Dynamische Nieuwe Beeldsynthese

Samenvatting

Wij stellen een methode voor voor dynamische scène-reconstructie met behulp van vervormbare 3D-Gaussiaanse verdelingen die is afgestemd op monovideo. Gebaseerd op de efficiëntie van Gaussiaans splatten, breidt onze aanpak de representatie uit om dynamische elementen te accommoderen via een vervormbare set van Gaussiaanse verdelingen in een canonieke ruimte, en een tijdsafhankelijk vervormingsveld gedefinieerd door een multi-layer perceptron (MLP). Bovendien, onder de aanname dat de meeste natuurlijke scènes grote gebieden hebben die statisch blijven, laten we het MLP toe om zijn representatievermogen te concentreren door daarnaast een statische Gaussiaanse puntenwolk op te nemen. De samengevoegde dynamische en statische puntenwolken vormen de invoer voor de Gaussiaans Splatten-rasterizer, waardoor real-time rendering mogelijk wordt. Het differentieerbare pijplijn wordt end-to-end geoptimaliseerd met een zelfgesuperviseerd renderingverlies. Onze methode bereikt resultaten die vergelijkbaar zijn met state-of-the-art dynamische neurale stralingsveldmethoden, terwijl het veel snellere optimalisatie en rendering mogelijk maakt. Projectwebsite: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html

GauFRe: Gaussische Vervormingsvelden voor Real-time Dynamische Nieuwe Beeldsynthese

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

Samenvatting

Support