FreeTimeGS : Gaussiennes libres à tout moment et en tout lieu pour la reconstruction de scènes dynamiques
FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction
June 5, 2025
Auteurs: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou
cs.AI
Résumé
Cet article aborde le défi de la reconstruction de scènes 3D dynamiques avec des mouvements complexes. Certains travaux récents définissent des primitives gaussiennes 3D dans l'espace canonique et utilisent des champs de déformation pour mapper ces primitives canoniques vers les espaces d'observation, permettant ainsi une synthèse visuelle dynamique en temps réel. Cependant, ces méthodes peinent souvent à gérer des scènes avec des mouvements complexes en raison de la difficulté à optimiser les champs de déformation. Pour surmonter ce problème, nous proposons FreeTimeGS, une nouvelle représentation 4D qui permet aux primitives gaussiennes d'apparaître à des moments et des emplacements arbitraires. Contrairement aux primitives gaussiennes canoniques, notre représentation offre une grande flexibilité, améliorant ainsi la capacité à modéliser des scènes 3D dynamiques. De plus, nous dotons chaque primitive gaussienne d'une fonction de mouvement, lui permettant de se déplacer vers des régions voisines au fil du temps, ce qui réduit la redondance temporelle. Les résultats d'expériences sur plusieurs ensembles de données montrent que la qualité de rendu de notre méthode surpasse largement celle des méthodes récentes.
English
This paper addresses the challenge of reconstructing dynamic 3D scenes with
complex motions. Some recent works define 3D Gaussian primitives in the
canonical space and use deformation fields to map canonical primitives to
observation spaces, achieving real-time dynamic view synthesis. However, these
methods often struggle to handle scenes with complex motions due to the
difficulty of optimizing deformation fields. To overcome this problem, we
propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives
to appear at arbitrary time and locations. In contrast to canonical Gaussian
primitives, our representation possesses the strong flexibility, thus improving
the ability to model dynamic 3D scenes. In addition, we endow each Gaussian
primitive with an motion function, allowing it to move to neighboring regions
over time, which reduces the temporal redundancy. Experiments results on
several datasets show that the rendering quality of our method outperforms
recent methods by a large margin.