GauFRe: Гауссовы поля деформации для синтеза динамических видов в реальном времени

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

December 18, 2023

Авторы: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao

cs.AI

Аннотация

Мы предлагаем метод реконструкции динамических сцен с использованием деформируемых 3D-гауссов, адаптированный для монохромного видео. Основываясь на эффективности гауссовского сплайсинга, наш подход расширяет представление для учета динамических элементов с помощью деформируемого набора гауссов, расположенных в каноническом пространстве, и зависящего от времени поля деформации, задаваемого многослойным перцептроном (MLP). Кроме того, в предположении, что большинство естественных сцен содержат большие статические области, мы позволяем MLP сосредоточить свои вычислительные ресурсы, дополнительно включая статическое облако гауссовых точек. Объединенные динамическое и статическое облака точек формируют вход для растеризатора гауссовского сплайсинга, что позволяет осуществлять рендеринг в реальном времени. Дифференцируемый конвейер оптимизируется сквозным образом с использованием самоконтролируемой функции потерь для рендеринга. Наш метод демонстрирует результаты, сопоставимые с современными методами динамических нейронных полей излучения, при этом обеспечивая значительно более быструю оптимизацию и рендеринг. Проектный веб-сайт: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html