Splatting Ibrido 3D-4D Gaussiano per la Rappresentazione Rapida di Scene Dinamiche

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Autori: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Abstract

I recenti progressi nella ricostruzione dinamica di scene 3D hanno mostrato risultati promettenti, consentendo la sintesi di nuove viste 3D ad alta fedeltà con una migliore coerenza temporale. Tra questi, il 4D Gaussian Splatting (4DGS) è emerso come un approccio interessante grazie alla sua capacità di modellare variazioni spaziali e temporali ad alta fedeltà. Tuttavia, i metodi esistenti soffrono di un notevole sovraccarico computazionale e di memoria a causa dell'allocazione ridondante di Gaussiane 4D nelle regioni statiche, che può anche degradare la qualità dell'immagine. In questo lavoro, introduciamo l'hybrid 3D-4D Gaussian Splatting (3D-4DGS), un nuovo framework che rappresenta in modo adattivo le regioni statiche con Gaussiane 3D, riservando le Gaussiane 4D per gli elementi dinamici. Il nostro metodo inizia con una rappresentazione completamente 4D e converte iterativamente le Gaussiane temporalmente invarianti in 3D, riducendo significativamente il numero di parametri e migliorando l'efficienza computazionale. Nel frattempo, le Gaussiane dinamiche mantengono la loro rappresentazione 4D completa, catturando movimenti complessi con alta fedeltà. Il nostro approccio raggiunge tempi di addestramento significativamente più rapidi rispetto ai metodi di base del 4D Gaussian Splatting, mantenendo o migliorando la qualità visiva.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.