3DGS-LM: Snellere Gaussian-Splatting Optimalisatie met Levenberg-Marquardt

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

September 19, 2024

Auteurs: Lukas Höllein, Aljaž Božič, Michael Zollhöfer, Matthias Nießner

cs.AI

Samenvatting

We presenteren 3DGS-LM, een nieuwe methode die de reconstructie van 3D Gaussian Splatting (3DGS) versnelt door de ADAM-optimalisator te vervangen door een op maat gemaakte Levenberg-Marquardt (LM). Bestaande methoden verminderen de optimalisatietijd door het aantal Gaussians te verlagen of door de implementatie van de differentieerbare rasterizer te verbeteren. Echter, ze vertrouwen nog steeds op de ADAM-optimalisator om Gaussische parameters van een scène te passen in duizenden iteraties, wat tot een uur kan duren. Om dit te bereiken, veranderen we de optimalisator naar LM die samenwerkt met de differentieerbare rasterizer van 3DGS. Voor efficiënte GPU-parallelisatie stellen we een cachegegevensstructuur voor tussenliggende gradiënten voor die ons in staat stelt om Jacobiaanse-vectorproducten efficiënt te berekenen in aangepaste CUDA-kernels. In elke LM-iteratie berekenen we update richtingen van meerdere beeldsubsets met behulp van deze kernels en combineren ze in een gewogen gemiddelde. Over het algemeen is onze methode 30% sneller dan de originele 3DGS terwijl we dezelfde reconstructiekwaliteit behalen. Onze optimalisatie is ook onafhankelijk van andere methoden die 3DGS versnellen, waardoor zelfs snellere versnellingen mogelijk zijn in vergelijking met de standaard 3DGS.

English

We present 3DGS-LM, a new method that accelerates the reconstruction of 3D Gaussian Splatting (3DGS) by replacing its ADAM optimizer with a tailored Levenberg-Marquardt (LM). Existing methods reduce the optimization time by decreasing the number of Gaussians or by improving the implementation of the differentiable rasterizer. However, they still rely on the ADAM optimizer to fit Gaussian parameters of a scene in thousands of iterations, which can take up to an hour. To this end, we change the optimizer to LM that runs in conjunction with the 3DGS differentiable rasterizer. For efficient GPU parallization, we propose a caching data structure for intermediate gradients that allows us to efficiently calculate Jacobian-vector products in custom CUDA kernels. In every LM iteration, we calculate update directions from multiple image subsets using these kernels and combine them in a weighted mean. Overall, our method is 30% faster than the original 3DGS while obtaining the same reconstruction quality. Our optimization is also agnostic to other methods that acclerate 3DGS, thus enabling even faster speedups compared to vanilla 3DGS.