FreeTimeGS: Freie Gaußsche Verteilungen zu jeder Zeit und an jedem Ort für die Rekonstruktion dynamischer Szenen
FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction
June 5, 2025
Autoren: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou
cs.AI
Zusammenfassung
Dieses Papier befasst sich mit der Herausforderung, dynamische 3D-Szenen mit komplexen Bewegungen zu rekonstruieren. Einige aktuelle Arbeiten definieren 3D-Gauß-Primitive im kanonischen Raum und verwenden Deformationsfelder, um kanonische Primitive in Beobachtungsräume abzubilden, wodurch eine Echtzeit-Darstellung dynamischer Ansichten erreicht wird. Diese Methoden haben jedoch oft Schwierigkeiten, Szenen mit komplexen Bewegungen zu verarbeiten, da die Optimierung von Deformationsfeldern schwierig ist. Um dieses Problem zu überwinden, schlagen wir FreeTimeGS vor, eine neuartige 4D-Darstellung, die es Gauß-Primitiven ermöglicht, zu beliebigen Zeiten und an beliebigen Orten aufzutreten. Im Gegensatz zu kanonischen Gauß-Primitiven besitzt unsere Darstellung eine hohe Flexibilität, wodurch die Fähigkeit zur Modellierung dynamischer 3D-Szenen verbessert wird. Darüber hinaus statten wir jedes Gauß-Primitiv mit einer Bewegungsfunktion aus, die es ermöglicht, sich im Laufe der Zeit in benachbarte Regionen zu bewegen, was die zeitliche Redundanz verringert. Experimentelle Ergebnisse auf mehreren Datensätzen zeigen, dass die Darstellungsqualität unserer Methode aktuelle Methoden deutlich übertrifft.
English
This paper addresses the challenge of reconstructing dynamic 3D scenes with
complex motions. Some recent works define 3D Gaussian primitives in the
canonical space and use deformation fields to map canonical primitives to
observation spaces, achieving real-time dynamic view synthesis. However, these
methods often struggle to handle scenes with complex motions due to the
difficulty of optimizing deformation fields. To overcome this problem, we
propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives
to appear at arbitrary time and locations. In contrast to canonical Gaussian
primitives, our representation possesses the strong flexibility, thus improving
the ability to model dynamic 3D scenes. In addition, we endow each Gaussian
primitive with an motion function, allowing it to move to neighboring regions
over time, which reduces the temporal redundancy. Experiments results on
several datasets show that the rendering quality of our method outperforms
recent methods by a large margin.