Multi4D: マルチレベル競合的割り当てによる高忠実度動的ガウシアンスプラッティング

要旨

動的3Dガウススプラッティングは、動作一貫性と視覚的忠実度の間に根本的なトレードオフを抱えている。変形ベース手法は時間的対応を維持するものの、動作の過剰な因子分解により高周波ダイナミクスを平滑化しすぎる。一方、4Dプリミティブ手法は微細な視覚的詳細を捉えるが、時間的過パラメータ化を引き起こし、物体同一性を損ない、深刻なストレージオーバーヘッドをもたらす。この問題を解決するために、我々はマルチレベルの競合的割り当てに基づく高忠実度動的ガウススプラッティングフレームワーク「Multi4D」を提案する。単一の表現に頼るのではなく、モデリング能力を3つの構造化レベル（静的構造、持続的動的幾何、過渡的外観プリミティブ）に分散する。共有ラスタライゼーションと残差駆動最適化を通じて、これらのレベルは動的に競合して光度誤差を説明し、事前に分割を割り当てることなく適応的特殊化を可能にする。この割り当てにより、長期的動作一貫性を維持しつつ微細な動的詳細を捉え、動的プリミティブを大幅に削減しながら、最先端のレンダリング品質とリアルタイムパフォーマンスを実現する。さらに、我々の表現は時間経過にわたってコンパクトな持続的ガウスを明示的に追跡するため、後からセマンティック特徴を埋め込むことが可能となり、Multi4Dは最先端の4Dセグメンテーション精度を桁違いの高速化で達成する。プロジェクトページ：https://batfacewayne.github.io/Multi4D.io/

English

Dynamic 3D Gaussian splatting faces a fundamental tension between motion consistency and visual fidelity. Deformation-based approaches preserve temporal correspondence but suffer from motion over-factorization, oversmoothing high-frequency dynamics. In contrast, 4D-primitive methods capture fine visual details yet incur temporal overparameterization, breaking object identity and leading to severe storage overhead. To resolve this, we introduce Multi4D, a framework for high-fidelity dynamic Gaussian Splatting based on multi-level competitive allocation. Instead of a monolithic representation, we distribute modeling capacity across three structured levels: static structure, persistent dynamic geometry, and transient appearance primitives. Through shared rasterization and residual-driven optimization, these levels dynamically compete to explain photometric error, enabling adaptive specialization without pre-assigned decomposition. This allocation preserves long-term motion consistency while capturing fine dynamic detail, achieving state-of-the-art rendering quality and real-time performance with significantly fewer dynamic primitives. Furthermore, because our representation explicitly tracks compact persistent Gaussians over time, semantic features can be embedded afterward, enabling Multi4D to achieve state-of-the-art 4D segmentation accuracy with an order-of-magnitude speedup. Project page: https://batfacewayne.github.io/Multi4D.io/