FreeTimeGS: 動的シーン再構築のためのいつでもどこでも自由なガウシアン

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

June 5, 2025

著者: Yifan Wang, Peishan Yang, Zhen Xu, Jiaming Sun, Zhanhua Zhang, Yong Chen, Hujun Bao, Sida Peng, Xiaowei Zhou

cs.AI

要旨

本論文は、複雑な動きを伴う動的3Dシーンの再構築という課題に取り組む。最近の研究では、正規空間に3Dガウシアンプリミティブを定義し、変形フィールドを用いて正規プリミティブを観測空間にマッピングすることで、リアルタイムの動的ビュー合成を実現している。しかし、これらの手法は変形フィールドの最適化が困難なため、複雑な動きを伴うシーンを扱うのに苦労することが多い。この問題を解決するため、我々はFreeTimeGSを提案する。これは、ガウシアンプリミティブが任意の時間と場所に出現できる新しい4D表現である。正規ガウシアンプリミティブとは異なり、我々の表現は高い柔軟性を有しており、動的3Dシーンのモデリング能力を向上させる。さらに、各ガウシアンプリミティブに運動関数を付与し、時間の経過とともに近隣領域に移動できるようにすることで、時間的な冗長性を低減する。複数のデータセットを用いた実験結果から、本手法のレンダリング品質が最近の手法を大きく上回ることが示された。

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.