Гибридный метод 3D-4D гауссовых сплатов для быстрого представления динамических сцен

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Авторы: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Аннотация

Последние достижения в области динамической реконструкции 3D-сцен демонстрируют многообещающие результаты, позволяя синтезировать высококачественные 3D-изображения с улучшенной временной согласованностью. Среди этих методов 4D Gaussian Splatting (4DGS) выделяется как привлекательный подход благодаря своей способности моделировать высокоточные пространственные и временные изменения. Однако существующие методы страдают от значительных вычислительных затрат и перерасхода памяти из-за избыточного распределения 4D-гауссов в статических областях, что также может ухудшать качество изображения. В данной работе мы представляем гибридный метод 3D-4D Gaussian Splatting (3D-4DGS) — новый фреймворк, который адаптивно представляет статические области с помощью 3D-гауссов, сохраняя 4D-гауссы для динамических элементов. Наш метод начинается с полного 4D-гауссова представления и итеративно преобразует временно инвариантные гауссы в 3D, значительно сокращая количество параметров и повышая вычислительную эффективность. При этом динамические гауссы сохраняют полное 4D-представление, точно фиксируя сложные движения. Наш подход обеспечивает значительно более быстрое время обучения по сравнению с базовыми методами 4D Gaussian Splatting, сохраняя или улучшая визуальное качество.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.