FreeTimeGS: Gaussians Livres a Qualquer Momento e em Qualquer Lugar para Reconstrução de Cenas Dinâmicas

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

June 5, 2025

Autores: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou

cs.AI

Resumo

Este artigo aborda o desafio de reconstruir cenas 3D dinâmicas com movimentos complexos. Alguns trabalhos recentes definem primitivas Gaussianas 3D no espaço canônico e utilizam campos de deformação para mapear essas primitivas canônicas para espaços de observação, alcançando síntese de visão dinâmica em tempo real. No entanto, esses métodos frequentemente enfrentam dificuldades ao lidar com cenas que apresentam movimentos complexos, devido à dificuldade de otimizar os campos de deformação. Para superar esse problema, propomos o FreeTimeGS, uma nova representação 4D que permite que primitivas Gaussianas apareçam em tempos e locais arbitrários. Em contraste com as primitivas Gaussianas canônicas, nossa representação possui uma forte flexibilidade, melhorando assim a capacidade de modelar cenas 3D dinâmicas. Além disso, dotamos cada primitiva Gaussiana com uma função de movimento, permitindo que ela se desloque para regiões vizinhas ao longo do tempo, o que reduz a redundância temporal. Os resultados dos experimentos em diversos conjuntos de dados mostram que a qualidade de renderização do nosso método supera significativamente os métodos recentes.

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.