FreeTimeGS: Gaussianos Libres en Cualquier Momento y Lugar para la Reconstrucción de Escenas Dinámicas
FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction
June 5, 2025
Autores: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou
cs.AI
Resumen
Este artículo aborda el desafío de reconstruir escenas 3D dinámicas con movimientos complejos. Algunos trabajos recientes definen primitivas gaussianas 3D en el espacio canónico y utilizan campos de deformación para mapear las primitivas canónicas a espacios de observación, logrando una síntesis dinámica de vistas en tiempo real. Sin embargo, estos métodos suelen tener dificultades para manejar escenas con movimientos complejos debido a la dificultad de optimizar los campos de deformación. Para superar este problema, proponemos FreeTimeGS, una novedosa representación 4D que permite que las primitivas gaussianas aparezcan en tiempos y ubicaciones arbitrarios. A diferencia de las primitivas gaussianas canónicas, nuestra representación posee una gran flexibilidad, mejorando así la capacidad de modelar escenas 3D dinámicas. Además, dotamos a cada primitiva gaussiana de una función de movimiento, permitiéndole desplazarse a regiones vecinas a lo largo del tiempo, lo que reduce la redundancia temporal. Los resultados de los experimentos en varios conjuntos de datos muestran que la calidad de renderizado de nuestro método supera ampliamente a los métodos recientes.
English
This paper addresses the challenge of reconstructing dynamic 3D scenes with
complex motions. Some recent works define 3D Gaussian primitives in the
canonical space and use deformation fields to map canonical primitives to
observation spaces, achieving real-time dynamic view synthesis. However, these
methods often struggle to handle scenes with complex motions due to the
difficulty of optimizing deformation fields. To overcome this problem, we
propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives
to appear at arbitrary time and locations. In contrast to canonical Gaussian
primitives, our representation possesses the strong flexibility, thus improving
the ability to model dynamic 3D scenes. In addition, we endow each Gaussian
primitive with an motion function, allowing it to move to neighboring regions
over time, which reduces the temporal redundancy. Experiments results on
several datasets show that the rendering quality of our method outperforms
recent methods by a large margin.