Momentum-GS : Auto-distillation gaussienne de momentum pour une reconstruction de scène de haute qualité et de grande taille

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Auteurs: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Résumé

Le Splatting Gaussien en 3D a démontré un succès notable dans la reconstruction de scènes à grande échelle, mais des défis persistent en raison de la forte consommation de mémoire d'entraînement et des surcoûts de stockage. Les représentations hybrides qui intègrent des caractéristiques implicites et explicites offrent un moyen d'atténuer ces limitations. Cependant, lorsqu'appliquées dans un entraînement par blocs parallélisés, deux problèmes critiques surviennent car la précision de la reconstruction se détériore en raison de la réduction de la diversité des données lors de l'entraînement de chaque bloc de manière indépendante, et l'entraînement parallèle limite le nombre de blocs divisés au nombre de GPU disponibles. Pour résoudre ces problèmes, nous proposons Momentum-GS, une approche novatrice qui exploite l'auto-distillation basée sur le momentum pour promouvoir la cohérence et la précision à travers les blocs tout en dissociant le nombre de blocs du nombre de GPU physiques. Notre méthode maintient un décodeur Gaussien enseignant mis à jour avec le momentum, assurant une référence stable pendant l'entraînement. Ce professeur fournit à chaque bloc une orientation globale de manière auto-distillée, favorisant la cohérence spatiale dans la reconstruction. Pour garantir davantage de cohérence à travers les blocs, nous incorporons une pondération des blocs, ajustant dynamiquement le poids de chaque bloc en fonction de sa précision de reconstruction. Des expériences approfondies sur des scènes à grande échelle montrent que notre méthode surpasse de manière constante les techniques existantes, réalisant une amélioration de 12,8% en LPIPS par rapport à CityGaussian avec beaucoup moins de blocs divisés et établissant un nouvel état de l'art. Page du projet : https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/