FreeTimeGS: Свободные гауссовы распределения в любое время и в любом месте для реконструкции динамических сцен

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

June 5, 2025

Авторы: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou

cs.AI

Аннотация

В данной работе рассматривается задача реконструкции динамических 3D-сцен со сложными движениями. Некоторые недавние исследования определяют 3D-гауссовы примитивы в каноническом пространстве и используют поля деформации для отображения канонических примитивов в пространства наблюдений, достигая синтеза динамических видов в реальном времени. Однако эти методы часто сталкиваются с трудностями при обработке сцен со сложными движениями из-за сложности оптимизации полей деформации. Чтобы преодолеть эту проблему, мы предлагаем FreeTimeGS — новое 4D-представление, которое позволяет гауссовым примитивам появляться в произвольные моменты времени и в произвольных местах. В отличие от канонических гауссовых примитивов, наше представление обладает высокой гибкостью, что улучшает способность моделирования динамических 3D-сцен. Кроме того, мы наделяем каждый гауссов примитив функцией движения, позволяющей ему перемещаться в соседние области с течением времени, что снижает временную избыточность. Результаты экспериментов на нескольких наборах данных показывают, что качество визуализации нашего метода значительно превосходит недавние подходы.

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.