GaussianFlow: 4Dコンテンツ作成のためのガウシアンダイナミクスのスプラッティング

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

著者: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

要旨

画像や動画からガウススプラッティングによる4Dフィールドを生成することは、その制約の少なさから困難な課題です。最適化プロセスでは入力動画から測光的な参照を引き出したり、生成モデルによって規制することは可能ですが、ガウシアンの動きを直接的に監督する手法はまだ十分に研究されていません。本論文では、3Dガウシアンのダイナミクスと連続フレーム間のピクセル速度を結びつける新しい概念である「ガウシアンフロー」を提案します。ガウシアンフローは、ガウシアンのダイナミクスを画像空間にスプラッティングすることで効率的に取得できます。この微分可能なプロセスにより、オプティカルフローからの直接的な動的監督が可能になります。本手法は、特に既存の手法では扱いにくい複雑な動きを含むコンテンツにおいて、ガウススプラッティングを用いた4D動的コンテンツ生成および4D新視点合成に大きく貢献します。また、4D生成で発生する一般的な色のずれ問題も、改善されたガウシアンダイナミクスによって解決されます。広範な実験による優れた視覚的品質は、本手法の有効性を示しています。定量的および定性的な評価により、本手法が4D生成と4D新視点合成の両タスクにおいて最先端の結果を達成することが示されました。プロジェクトページ: https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/