Splatting Híbrido 3D-4D de Gaussianas para Representação Rápida de Cenas Dinâmicas

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Autores: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Resumo

Os recentes avanços na reconstrução dinâmica de cenas 3D têm mostrado resultados promissores, permitindo a síntese de novas vistas 3D de alta fidelidade com consistência temporal aprimorada. Dentre esses avanços, o 4D Gaussian Splatting (4DGS) emergiu como uma abordagem atraente devido à sua capacidade de modelar variações espaciais e temporais de alta fidelidade. No entanto, os métodos existentes sofrem com um sobrecarga computacional e de memória substancial devido à alocação redundante de Gaussianas 4D em regiões estáticas, o que também pode degradar a qualidade da imagem. Neste trabalho, introduzimos o hybrid 3D-4D Gaussian Splatting (3D-4DGS), uma nova estrutura que representa adaptativamente regiões estáticas com Gaussianas 3D, enquanto reserva Gaussianas 4D para elementos dinâmicos. Nosso método começa com uma representação totalmente 4D de Gaussianas e converte iterativamente Gaussianas temporalmente invariantes em 3D, reduzindo significativamente o número de parâmetros e melhorando a eficiência computacional. Enquanto isso, as Gaussianas dinâmicas mantêm sua representação 4D completa, capturando movimentos complexos com alta fidelidade. Nossa abordagem alcança tempos de treinamento significativamente mais rápidos em comparação com os métodos baselines de 4D Gaussian Splatting, mantendo ou melhorando a qualidade visual.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.