Momentum-GS: Momentum Gaussian Self-Distillation voor hoogwaardige grootschalige scène reconstructie

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Auteurs: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Samenvatting

3D Gaussian Splatting heeft opmerkelijk succes aangetoond in grootschalige scène reconstructie, maar er blijven uitdagingen bestaan vanwege het hoge geheugengebruik tijdens training en de opslagoverhead. Hybride representaties die impliciete en expliciete kenmerken integreren, bieden een manier om deze beperkingen te verminderen. Echter, wanneer toegepast in parallelle bloksgewijze training, ontstaan twee kritieke problemen aangezien de reconstructie nauwkeurigheid verslechtert door verminderde gegevensdiversiteit bij het afzonderlijk trainen van elk blok, en parallelle training beperkt het aantal verdeelde blokken tot het beschikbare aantal GPU's. Om deze problemen aan te pakken, stellen wij Momentum-GS voor, een nieuw benadering die gebruikmaakt van op momentum gebaseerde zelf-distantiëring om consistentie en nauwkeurigheid over de blokken te bevorderen terwijl het aantal blokken losgekoppeld wordt van het fysieke aantal GPU's. Onze methode behoudt een leraar-Gaussische decoder die bijgewerkt wordt met momentum, wat zorgt voor een stabiele referentie tijdens training. Deze leraar biedt elk blok globale begeleiding op een zelf-distantiëringsmanier, wat ruimtelijke consistentie in reconstructie bevordert. Om verdere consistentie over de blokken te waarborgen, nemen we blokgewicht mee, waarbij elk blok dynamisch wordt aangepast op basis van zijn reconstructienauwkeurigheid. Uitgebreide experimenten op grootschalige scènes tonen aan dat onze methode consequent beter presteert dan bestaande technieken, met een verbetering van 12.8% in LPIPS ten opzichte van CityGaussian met veel minder verdeelde blokken en het vestigen van een nieuwe state of the art. Projectpagina: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/