リアルタイム動的視点合成のための時空間ガウシアンフィーチャースプラッティング

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

著者: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

要旨

動的シーンの新視点合成は、興味深いながらも困難な課題である。近年の進展にもかかわらず、高解像度のフォトリアルな結果、リアルタイムレンダリング、そしてコンパクトなストレージを同時に達成することは依然として困難な課題である。これらの課題に対処するため、我々はSpacetime Gaussian Feature Splattingを提案する。これは、3つの重要なコンポーネントから構成される新しい動的シーン表現手法である。まず、時間的な不透明度とパラメトリックな動き/回転を3Dガウシアンに追加することで、表現力豊かなSpacetime Gaussiansを定式化する。これにより、Spacetime Gaussiansはシーン内の静的、動的、そして一時的な内容を捉えることができる。次に、球面調和関数をニューラル特徴量に置き換えるsplatted feature renderingを導入する。これらの特徴量は、視点や時間に依存する外観をモデル化しつつ、サイズを小さく保つことを可能にする。第三に、既存のパイプラインでは収束が難しい領域に新しいガウシアンをサンプリングするために、訓練誤差と粗い深度のガイダンスを活用する。いくつかの確立された実世界のデータセットでの実験により、我々の手法が最先端のレンダリング品質と速度を達成し、かつコンパクトなストレージを維持することが実証された。8K解像度において、我々のライトバージョンモデルはNvidia RTX 4090 GPU上で60 FPSでレンダリング可能である。

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.