GauFRe: Campos de Deformação Gaussiana para Síntese Dinâmica de Novas Visões em Tempo Real

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

Autores: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

Resumo

Propomos um método para reconstrução dinâmica de cenas utilizando Gaussianas 3D deformáveis, especialmente projetado para vídeos monoculares. Baseando-se na eficiência do *splatting* Gaussiano, nossa abordagem estende a representação para acomodar elementos dinâmicos por meio de um conjunto deformável de Gaussianas localizadas em um espaço canônico e um campo de deformação dependente do tempo, definido por um perceptron multicamadas (MLP). Além disso, sob a suposição de que a maioria das cenas naturais possui grandes regiões que permanecem estáticas, permitimos que o MLP concentre seu poder de representação ao incluir adicionalmente uma nuvem de pontos Gaussiana estática. As nuvens de pontos dinâmicas e estáticas concatenadas formam a entrada para o rasterizador de *Gaussian Splatting*, permitindo renderização em tempo real. O pipeline diferenciável é otimizado de ponta a ponta com uma perda de renderização auto-supervisionada. Nosso método alcança resultados comparáveis aos métodos de campos de radiação neural dinâmicos de última geração, permitindo otimização e renderização significativamente mais rápidas. Site do projeto: https://lynl7130.github.io/gaufre/index.html.

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html