高速な動的シーン表現のためのハイブリッド3D-4Dガウススプラッティング

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

著者: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

要旨

近年の動的3Dシーン再構成技術の進展は、時間的整合性が向上した高精細な3D新視点合成を可能にし、有望な結果を示しています。その中でも、4Dガウシアンスプラッティング（4DGS）は、高精細な空間的および時間的変動をモデル化する能力から、注目を集める手法として登場しました。しかし、既存の手法では、静的な領域に冗長に割り当てられた4Dガウシアンによって、計算量とメモリ使用量が大幅に増加し、画像品質の低下も引き起こす問題があります。本研究では、静的な領域を3Dガウシアンで適応的に表現し、動的な要素に対しては4Dガウシアンを保持する新しいフレームワークであるハイブリッド3D-4Dガウシアンスプラッティング（3D-4DGS）を提案します。本手法は、完全な4Dガウシアン表現から始め、時間的に不変なガウシアンを反復的に3Dに変換することで、パラメータ数を大幅に削減し、計算効率を向上させます。一方で、動的なガウシアンは完全な4D表現を保持し、複雑な動きを高精細に捉えます。本手法は、ベースラインの4Dガウシアンスプラッティング手法と比較して、視覚品質を維持または向上させながら、大幅に短い学習時間を実現します。

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.