Momentum-GS: Momento de Autodestilación Gaussiano para la Reconstrucción de Escenas Grandes de Alta Calidad

Momentum-GS: Momentum Gaussian Self-Distillation for High-Quality Large Scene Reconstruction

December 6, 2024

Autores: Jixuan Fan, Wanhua Li, Yifei Han, Yansong Tang

cs.AI

Resumen

El Splatting Gaussiano en 3D ha demostrado un notable éxito en la reconstrucción de escenas a gran escala, pero persisten desafíos debido al alto consumo de memoria durante el entrenamiento y la sobrecarga de almacenamiento. Las representaciones híbridas que integran características implícitas y explícitas ofrecen una forma de mitigar estas limitaciones. Sin embargo, al aplicarse en un entrenamiento paralelizado por bloques, surgen dos problemas críticos, ya que la precisión de la reconstrucción se deteriora debido a la reducida diversidad de datos al entrenar cada bloque de forma independiente, y el entrenamiento paralelo restringe la cantidad de bloques divididos al número disponible de GPUs. Para abordar estos problemas, proponemos Momentum-GS, un enfoque novedoso que aprovecha la auto-difusión basada en momentum para promover la consistencia y precisión en todos los bloques al tiempo que desacopla el número de bloques de la cantidad física de GPUs. Nuestro método mantiene un decodificador Gaussiano maestro actualizado con momentum, asegurando una referencia estable durante el entrenamiento. Este maestro proporciona a cada bloque una guía global de manera auto-difundida, promoviendo la consistencia espacial en la reconstrucción. Para garantizar aún más la consistencia entre los bloques, incorporamos ponderación de bloques, ajustando dinámicamente el peso de cada bloque según su precisión de reconstrucción. Experimentos extensos en escenas a gran escala muestran que nuestro método supera consistentemente a las técnicas existentes, logrando una mejora del 12.8% en LPIPS sobre CityGaussian con muchos menos bloques divididos y estableciendo un nuevo estado del arte. Página del proyecto: https://jixuan-fan.github.io/Momentum-GS_Page/

English

3D Gaussian Splatting has demonstrated notable success in large-scale scene reconstruction, but challenges persist due to high training memory consumption and storage overhead. Hybrid representations that integrate implicit and explicit features offer a way to mitigate these limitations. However, when applied in parallelized block-wise training, two critical issues arise since reconstruction accuracy deteriorates due to reduced data diversity when training each block independently, and parallel training restricts the number of divided blocks to the available number of GPUs. To address these issues, we propose Momentum-GS, a novel approach that leverages momentum-based self-distillation to promote consistency and accuracy across the blocks while decoupling the number of blocks from the physical GPU count. Our method maintains a teacher Gaussian decoder updated with momentum, ensuring a stable reference during training. This teacher provides each block with global guidance in a self-distillation manner, promoting spatial consistency in reconstruction. To further ensure consistency across the blocks, we incorporate block weighting, dynamically adjusting each block's weight according to its reconstruction accuracy. Extensive experiments on large-scale scenes show that our method consistently outperforms existing techniques, achieving a 12.8% improvement in LPIPS over CityGaussian with much fewer divided blocks and establishing a new state of the art. Project page: https://jixuan-fan.github.io/Momentum-GS_Page/