Representación Rápida de Escenas Dinámicas mediante Splatting Gaussiano Híbrido 3D-4D

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Autores: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Resumen

Los avances recientes en la reconstrucción dinámica de escenas 3D han mostrado resultados prometedores, permitiendo la síntesis de nuevas vistas 3D de alta fidelidad con una mejor consistencia temporal. Entre estos, el método de 4D Gaussian Splatting (4DGS) ha surgido como un enfoque atractivo debido a su capacidad para modelar variaciones espaciales y temporales de alta fidelidad. Sin embargo, los métodos existentes sufren de un sobrecosto computacional y de memoria significativo debido a la asignación redundante de gaussianas 4D en regiones estáticas, lo que también puede degradar la calidad de la imagen. En este trabajo, presentamos hybrid 3D-4D Gaussian Splatting (3D-4DGS), un marco novedoso que representa adaptativamente las regiones estáticas con gaussianas 3D mientras reserva gaussianas 4D para los elementos dinámicos. Nuestro método comienza con una representación completamente 4D y convierte iterativamente las gaussianas temporalmente invariantes en 3D, reduciendo significativamente el número de parámetros y mejorando la eficiencia computacional. Mientras tanto, las gaussianas dinámicas conservan su representación 4D completa, capturando movimientos complejos con alta fidelidad. Nuestro enfoque logra tiempos de entrenamiento significativamente más rápidos en comparación con los métodos base de 4D Gaussian Splatting, manteniendo o mejorando la calidad visual.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.