Momentum-GS: 高品質な大規模シーン再構築のためのモーメンタムガウス自己蒸留

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

著者: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

要旨

3D Gaussian Splattingは大規模なシーン再構築において注目すべき成功を示していますが、高いトレーニングメモリ消費とストレージオーバーヘッドという課題が依然として存在しています。暗黙的および明示的な特徴を統合するハイブリッド表現は、これらの制約を緩和する方法を提供します。ただし、ブロック単位の並列トレーニングで適用する際には、各ブロックを独立してトレーニングすることでデータの多様性が低下し、並列トレーニングにより分割ブロック数が利用可能なGPU数に制限されるという2つの重要な問題が発生します。これらの問題に対処するために、本研究ではMomentum-GSという新しい手法を提案します。この手法は、運動量ベースの自己蒸留を活用して、各ブロック間での一貫性と精度を促進し、ブロック数を物理的なGPU数から切り離します。本手法では、トレーニング中に運動量で更新される教師ガウスデコーダを維持し、安定した参照を確保します。この教師は、各ブロックに対してグローバルなガイダンスを提供し、再構築における空間的一貫性を促進します。さらに、ブロック間の一貫性を確保するために、再構築精度に応じて各ブロックの重みを動的に調整するブロック重み付けを組み込んでいます。大規模なシーンでの包括的な実験では、本手法が既存の技術を一貫して上回り、CityGaussianよりも少ない分割ブロックでLPIPSで12.8%の改善を達成し、新たな最先端を確立しています。プロジェクトページ：https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/