FreeTimeGS: Gaussiane Libere in Qualsiasi Momento e Luogo per la Ricostruzione di Scene Dinamiche

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

June 5, 2025

Autori: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou

cs.AI

Abstract

Questo articolo affronta la sfida della ricostruzione di scene 3D dinamiche con movimenti complessi. Alcuni lavori recenti definiscono primitive gaussiane 3D nello spazio canonico e utilizzano campi di deformazione per mappare le primitive canoniche agli spazi di osservazione, ottenendo una sintesi dinamica in tempo reale. Tuttavia, questi metodi spesso incontrano difficoltà nel gestire scene con movimenti complessi a causa della complessità nell'ottimizzazione dei campi di deformazione. Per superare questo problema, proponiamo FreeTimeGS, una nuova rappresentazione 4D che consente alle primitive gaussiane di apparire in tempi e posizioni arbitrari. A differenza delle primitive gaussiane canoniche, la nostra rappresentazione offre una maggiore flessibilità, migliorando così la capacità di modellare scene 3D dinamiche. Inoltre, dotiamo ciascuna primitiva gaussiana di una funzione di movimento, permettendole di spostarsi nelle regioni vicine nel tempo, riducendo così la ridondanza temporale. I risultati degli esperimenti su diversi dataset dimostrano che la qualità di rendering del nostro metodo supera di gran lunga quella dei metodi recenti.

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.