3DGS-LM : Optimisation plus rapide de l'étalement gaussien avec la méthode de Levenberg-Marquardt

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

September 19, 2024

Auteurs: Lukas Höllein, Aljaž Božič, Michael Zollhöfer, Matthias Nießner

cs.AI

Résumé

Nous présentons 3DGS-LM, une nouvelle méthode qui accélère la reconstruction du Splatting Gaussien 3D (3DGS) en remplaçant son optimiseur ADAM par un optimiseur adapté de Levenberg-Marquardt (LM). Les méthodes existantes réduisent le temps d'optimisation en diminuant le nombre de Gaussiennes ou en améliorant la mise en œuvre du rasterizer différentiable. Cependant, elles reposent toujours sur l'optimiseur ADAM pour ajuster les paramètres gaussiens d'une scène en des milliers d'itérations, ce qui peut prendre jusqu'à une heure. À cette fin, nous changeons l'optimiseur pour LM qui fonctionne en conjonction avec le rasterizer différentiable 3DGS. Pour une parallélisation efficace sur GPU, nous proposons une structure de données de mise en cache pour les gradients intermédiaires qui nous permet de calculer efficacement les produits Jacobien-vecteur dans des noyaux CUDA personnalisés. À chaque itération de LM, nous calculons les directions de mise à jour à partir de plusieurs sous-ensembles d'images en utilisant ces noyaux et les combinons dans une moyenne pondérée. Dans l'ensemble, notre méthode est 30 % plus rapide que le 3DGS original tout en obtenant la même qualité de reconstruction. Notre optimisation est également agnostique par rapport à d'autres méthodes qui accélèrent le 3DGS, permettant ainsi des accélérations encore plus rapides par rapport au 3DGS classique.

English

We present 3DGS-LM, a new method that accelerates the reconstruction of 3D Gaussian Splatting (3DGS) by replacing its ADAM optimizer with a tailored Levenberg-Marquardt (LM). Existing methods reduce the optimization time by decreasing the number of Gaussians or by improving the implementation of the differentiable rasterizer. However, they still rely on the ADAM optimizer to fit Gaussian parameters of a scene in thousands of iterations, which can take up to an hour. To this end, we change the optimizer to LM that runs in conjunction with the 3DGS differentiable rasterizer. For efficient GPU parallization, we propose a caching data structure for intermediate gradients that allows us to efficiently calculate Jacobian-vector products in custom CUDA kernels. In every LM iteration, we calculate update directions from multiple image subsets using these kernels and combine them in a weighted mean. Overall, our method is 30% faster than the original 3DGS while obtaining the same reconstruction quality. Our optimization is also agnostic to other methods that acclerate 3DGS, thus enabling even faster speedups compared to vanilla 3DGS.