FreeTimeGS: Vrije Gaussians op Elk Moment en Elke Locatie voor Dynamische Scène Reconstructie

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

June 5, 2025

Auteurs: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou

cs.AI

Samenvatting

Dit artikel behandelt de uitdaging van het reconstrueren van dynamische 3D-scènes met complexe bewegingen. Sommige recente werken definiëren 3D Gaussische primitieven in de canonieke ruimte en gebruiken vervormingsvelden om canonieke primitieven naar observatieruimten af te beelden, waardoor real-time dynamische viewsynthese wordt bereikt. Deze methoden hebben echter vaak moeite met het verwerken van scènes met complexe bewegingen vanwege de moeilijkheid om vervormingsvelden te optimaliseren. Om dit probleem te overwinnen, stellen we FreeTimeGS voor, een nieuwe 4D-representatie die Gaussische primitieven in staat stelt op willekeurige tijden en locaties te verschijnen. In tegenstelling tot canonieke Gaussische primitieven, beschikt onze representatie over een grote flexibiliteit, waardoor het vermogen om dynamische 3D-scènes te modelleren wordt verbeterd. Daarnaast voorzien we elk Gaussisch primitief van een bewegingsfunctie, waardoor het in de loop van de tijd naar naburige regio's kan bewegen, wat de temporele redundantie vermindert. Experimentele resultaten op verschillende datasets laten zien dat de renderkwaliteit van onze methode recente methoden met een grote marge overtreft.

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.