Hybrides 3D-4D Gaussian Splatting für die schnelle Darstellung dynamischer Szenen

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Autoren: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Zusammenfassung

Jüngste Fortschritte in der dynamischen 3D-Szenenrekonstruktion haben vielversprechende Ergebnisse gezeigt und ermöglichen eine hochauflösende 3D-Neuansichtssynthese mit verbesserter zeitlicher Konsistenz. Unter diesen hat sich das 4D Gaussian Splatting (4DGS) als ein attraktiver Ansatz erwiesen, da es in der Lage ist, hochauflösende räumliche und zeitliche Variationen zu modellieren. Allerdings leiden bestehende Methoden unter erheblichen Rechen- und Speicheraufwänden aufgrund der redundanten Zuweisung von 4D-Gaußschen zu statischen Regionen, was auch die Bildqualität beeinträchtigen kann. In dieser Arbeit stellen wir das hybride 3D-4D Gaussian Splatting (3D-4DGS) vor, ein neuartiges Framework, das statische Regionen adaptiv mit 3D-Gaußschen darstellt, während 4D-Gaußsche für dynamische Elemente reserviert werden. Unsere Methode beginnt mit einer vollständigen 4D-Gaußschen Darstellung und wandelt zeitlich invariante Gaußsche iterativ in 3D um, wodurch die Anzahl der Parameter deutlich reduziert und die Recheneffizienz verbessert wird. Gleichzeitig behalten dynamische Gaußsche ihre vollständige 4D-Darstellung bei und erfassen komplexe Bewegungen mit hoher Genauigkeit. Unser Ansatz erreicht im Vergleich zu Baseline-4D-Gaussian-Splatting-Methoden deutlich kürzere Trainingszeiten bei gleichbleibender oder verbesserter visueller Qualität.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.