モノクル動的シーンレンダリングのための効率的なガウススプラッティングによる、疎な時間変動属性モデリング

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

著者: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

要旨

モノキュラー動画から動的シーンをレンダリングすることは重要かつ困難なタスクです。最近、変形可能なガウススプラッティングが現れ、現実世界の動的シーンを表現するための堅牢な解決策として注目されています。しかし、この手法はしばしば過剰なガウス関数を生み出し、さまざまな時間ステップで各トレーニングビューに適合しようとするため、レンダリング速度が遅くなることがあります。さらに、静的領域におけるガウス関数の属性は時間不変であるため、すべてのガウス関数をモデル化する必要はなく、静的領域でのジッタリングを引き起こす可能性があります。実際には、動的シーンのレンダリング速度における主要なボトルネックはガウス関数の数です。この課題に対処するために、私たちは効率的な動的ガウススプラッティング（EDGS）を導入しました。この手法は、スパースな時間変動属性モデリングを通じて動的シーンを表現します。私たちのアプローチは、スパースなアンカーグリッド表現を使用して動的シーンを定式化し、密なガウス関数のモーションフローを古典的なカーネル表現を用いて計算します。さらに、静的領域に対応するアンカーを効率的にフィルタリングするための教師なし戦略を提案します。変形可能なオブジェクトに関連するアンカーのみがMLPに入力され、時間変動属性をクエリします。2つの実世界データセットでの実験結果は、私たちのEDGSが従来の最先端手法と比較して、レンダリング速度を大幅に向上させ、優れたレンダリング品質を実現することを示しています。

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.