Momentum-GS: Momentum Gaussian Self-Distillation für hochwertige großflächige Szenenrekonstruktion

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Autoren: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Zusammenfassung

Die 3D-Gauß-Splatting-Technik hat sich bei der großangelegten Szenenrekonstruktion als äußerst erfolgreich erwiesen, jedoch bestehen weiterhin Herausforderungen aufgrund des hohen Speicherverbrauchs während des Trainings und des Speicheroverheads. Hybridrepräsentationen, die implizite und explizite Merkmale integrieren, bieten einen Weg, um diese Einschränkungen zu mildern. Wenn jedoch eine parallelisierte blockweise Schulung durchgeführt wird, treten zwei kritische Probleme auf, da die Rekonstruktionsgenauigkeit aufgrund reduzierter Datenvielfalt bei unabhängiger Schulung jedes Blocks abnimmt und die parallele Schulung die Anzahl der geteilten Blöcke auf die verfügbare Anzahl von GPUs beschränkt. Um diese Probleme anzugehen, schlagen wir Momentum-GS vor, einen neuartigen Ansatz, der auf Momentum-basierter Selbstdestillation beruht, um Konsistenz und Genauigkeit über die Blöcke hinweg zu fördern, während die Anzahl der Blöcke von der physischen GPU-Anzahl entkoppelt wird. Unsere Methode pflegt einen Lehr-Gauß-Decoder, der mit Momentum aktualisiert wird, um eine stabile Referenz während des Trainings sicherzustellen. Dieser Lehrer bietet jedem Block globale Anleitung in Form von Selbstdestillation und fördert so räumliche Konsistenz bei der Rekonstruktion. Um die Konsistenz über die Blöcke hinweg weiter zu gewährleisten, integrieren wir Blockgewichtung, die das Gewicht jedes Blocks dynamisch anhand seiner Rekonstruktionsgenauigkeit anpasst. Umfangreiche Experimente an großangelegten Szenen zeigen, dass unsere Methode kontinuierlich bessere Leistungen als bestehende Techniken erbringt, eine Verbesserung von 12,8 % im LPIPS gegenüber CityGaussian mit deutlich weniger geteilten Blöcken erzielt und einen neuen Stand der Technik etabliert. Projektpage: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/