Momentum-GS: Моментум Гауссовское Самодистилляция для высококачественной реконструкции больших сцен

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Авторы: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Аннотация

3D Гауссово сглаживание продемонстрировало значительный успех в реконструкции сцен большого масштаба, однако остаются проблемы из-за высокого потребления памяти на обучение и избыточных накладных расходов на хранение. Гибридные представления, интегрирующие неявные и явные признаки, предлагают способ преодоления этих ограничений. Однако при параллельном блочном обучении возникают две критические проблемы: ухудшение точности реконструкции из-за уменьшения разнообразия данных при обучении каждого блока независимо и ограничение количества разделенных блоков числом доступных GPU. Для решения этих проблем мы предлагаем Momentum-GS, новый подход, использующий самодистилляцию на основе импульса для повышения согласованности и точности между блоками, разрывая связь между количеством блоков и физическим числом GPU. Наш метод поддерживает учителя-декодер Гаусса, обновляемого с использованием импульса, обеспечивая стабильную ссылку во время обучения. Этот учитель предоставляет каждому блоку глобальное руководство в режиме самодистилляции, способствуя пространственной согласованности в реконструкции. Для обеспечения согласованности между блоками мы также включаем весовое блокирование, динамически корректируя вес каждого блока в соответствии с его точностью реконструкции. Обширные эксперименты на сценах большого масштаба показывают, что наш метод последовательно превосходит существующие техники, достигая улучшения в 12,8% по LPIPS по сравнению с CityGaussian с гораздо меньшим количеством разделенных блоков и устанавливая новый уровень качества. Страница проекта: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/