Représentation hybride 3D-4D par projection gaussienne pour une modélisation rapide de scènes dynamiques

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

Auteurs: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

Résumé

Les récents progrès dans la reconstruction dynamique de scènes 3D ont montré des résultats prometteurs, permettant une synthèse de nouvelles vues 3D de haute fidélité avec une meilleure cohérence temporelle. Parmi ces avancées, la méthode de *4D Gaussian Splatting* (4DGS) s'est imposée comme une approche attrayante grâce à sa capacité à modéliser des variations spatiales et temporelles de haute fidélité. Cependant, les méthodes existantes souffrent d'un surcoût computationnel et mémoire important dû à l'allocation redondante de Gaussiennes 4D dans les régions statiques, ce qui peut également dégrader la qualité de l'image. Dans ce travail, nous introduisons le *hybrid 3D-4D Gaussian Splatting* (3D-4DGS), un nouveau cadre qui représente de manière adaptative les régions statiques avec des Gaussiennes 3D tout en réservant les Gaussiennes 4D pour les éléments dynamiques. Notre méthode commence par une représentation entièrement en Gaussiennes 4D et convertit itérativement les Gaussiennes invariantes dans le temps en 3D, réduisant ainsi significativement le nombre de paramètres et améliorant l'efficacité computationnelle. Parallèlement, les Gaussiennes dynamiques conservent leur représentation 4D complète, capturant des mouvements complexes avec une haute fidélité. Notre approche permet des temps d'entraînement nettement plus rapides par rapport aux méthodes de référence en 4D Gaussian Splatting, tout en maintenant ou en améliorant la qualité visuelle.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.