Momentum-GS: Momento de Auto-Destilação Gaussiana para Reconstrução de Cenas Grandes de Alta Qualidade

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Autores: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Resumo

O Splatting Gaussiano 3D tem demonstrado um sucesso notável na reconstrução de cenas em larga escala, mas desafios persistem devido ao alto consumo de memória de treinamento e sobrecarga de armazenamento. Representações híbridas que integram características implícitas e explícitas oferecem uma maneira de mitigar essas limitações. No entanto, ao serem aplicadas em treinamento paralelizado em blocos, surgem dois problemas críticos, uma vez que a precisão da reconstrução deteriora devido à redução da diversidade dos dados ao treinar cada bloco de forma independente, e o treinamento paralelo restringe o número de blocos divididos ao número disponível de GPUs. Para lidar com esses problemas, propomos o Momentum-GS, uma abordagem inovadora que aproveita a auto-dissipação baseada em momentum para promover consistência e precisão entre os blocos, ao mesmo tempo que desvincula o número de blocos da contagem física de GPUs. Nosso método mantém um decodificador Gaussiano professor atualizado com momentum, garantindo uma referência estável durante o treinamento. Esse professor fornece a cada bloco orientação global de maneira auto-dissipativa, promovendo consistência espacial na reconstrução. Para garantir ainda mais a consistência entre os blocos, incorporamos a ponderação de blocos, ajustando dinamicamente o peso de cada bloco de acordo com sua precisão de reconstrução. Experimentos extensos em cenas em larga escala mostram que nosso método supera consistentemente as técnicas existentes, alcançando uma melhoria de 12,8% no LPIPS em relação ao CityGaussian com muito menos blocos divididos e estabelecendo um novo estado da arte. Página do projeto: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/