Hybride 3D-4D Gaussische Splatting voor Snelle Dynamische Scène Representatie

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Auteurs: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Samenvatting

Recente vooruitgang in dynamische 3D-scène-reconstructie heeft veelbelovende resultaten laten zien, waardoor hoogwaardige 3D-nieuwe-weergave-synthese met verbeterde temporele consistentie mogelijk wordt gemaakt. Onder deze ontwikkelingen is 4D Gaussian Splatting (4DGS) naar voren gekomen als een aantrekkelijke benadering vanwege het vermogen om hoogwaardige ruimtelijke en temporele variaties te modelleren. Bestaande methoden kampen echter met aanzienlijke reken- en geheugenoverhead door de overbodige toewijzing van 4D Gaussians aan statische regio's, wat ook de beeldkwaliteit kan aantasten. In dit werk introduceren we hybride 3D-4D Gaussian Splatting (3D-4DGS), een nieuw raamwerk dat statische regio's adaptief representeert met 3D Gaussians terwijl 4D Gaussians gereserveerd blijven voor dynamische elementen. Onze methode begint met een volledige 4D Gaussian-representatie en converteert iteratief temporeel invariante Gaussians naar 3D, wat het aantal parameters aanzienlijk vermindert en de rekenkundige efficiëntie verbetert. Tegelijkertijd behouden dynamische Gaussians hun volledige 4D-representatie, waardoor complexe bewegingen met hoge kwaliteit worden vastgelegd. Onze benadering resulteert in aanzienlijk kortere trainingstijden in vergelijking met baseline 4D Gaussian Splatting-methoden, terwijl de visuele kwaliteit behouden blijft of zelfs verbetert.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.