GauFRe：リアルタイム動的新規視点合成のためのガウス変形場

要旨

本論文では、単眼動画に特化した変形可能な3Dガウシアンを用いた動的シーン再構築手法を提案する。ガウシアンスプラッティングの効率性を基盤として、本手法は、カノニカル空間に存在する変形可能なガウシアン集合と、多層パーセプトロン（MLP）によって定義される時間依存の変形場を用いて、動的要素を表現する。さらに、自然なシーンでは大部分が静的領域であるという仮定の下、MLPの表現能力を集中させるために、静的ガウシアンポイントクラウドを追加する。動的および静的ポイントクラウドを連結したものをガウシアンスプラッティングラスタライザに入力し、リアルタイムレンダリングを可能にする。この微分可能なパイプラインは、自己教師ありレンダリング損失を用いてエンドツーエンドで最適化される。本手法は、最先端の動的神経放射輝度場（NeRF）手法と同等の結果を達成しつつ、大幅に高速な最適化とレンダリングを実現する。プロジェクトウェブサイト: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html

GauFRe：リアルタイム動的新規視点合成のためのガウス変形場

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

要旨

Support