3DGS-LM: レーベンベルク・マーカート法を用いた高速ガウススプラッティング最適化

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

September 19, 2024

著者: Lukas Höllein, Aljaž Božič, Michael Zollhöfer, Matthias Nießner

cs.AI

要旨

新しい手法である3Dガウススプラッティング（3DGS）の再構築を加速する3DGS-LMを提案します。この手法は、ADAMオプティマイザーをカスタマイズしたLevenberg-Marquardt（LM）で置き換えることで、最適化時間を短縮します。従来の手法は、ガウス分布の数を減らすか、微分可能なラスタライザーの実装を改善することで最適化時間を短縮してきました。しかし、これらの手法は依然として、数千回の反復でシーンのガウス分布のパラメータを適合させるためにADAMオプティマイザーに依存しており、最大1時間かかることがあります。そこで、我々はLMにオプティマイザーを変更し、3DGSの微分可能なラスタライザーと連携させます。効率的なGPU並列化のために、中間勾配のキャッシングデータ構造を提案し、カスタムCUDAカーネルでヤコビアン-ベクトル積を効率的に計算できるようにします。各LM反復では、これらのカーネルを使用して複数の画像サブセットから更新方向を計算し、それらを加重平均で組み合わせます。全体として、当社の手法は元の3DGSよりも30％高速でありながら、同じ再構築品質を達成します。また、当社の最適化は、3DGSを加速する他の手法にも対応しており、バニラの3DGSと比較してさらに高速化が可能です。

English

We present 3DGS-LM, a new method that accelerates the reconstruction of 3D Gaussian Splatting (3DGS) by replacing its ADAM optimizer with a tailored Levenberg-Marquardt (LM). Existing methods reduce the optimization time by decreasing the number of Gaussians or by improving the implementation of the differentiable rasterizer. However, they still rely on the ADAM optimizer to fit Gaussian parameters of a scene in thousands of iterations, which can take up to an hour. To this end, we change the optimizer to LM that runs in conjunction with the 3DGS differentiable rasterizer. For efficient GPU parallization, we propose a caching data structure for intermediate gradients that allows us to efficiently calculate Jacobian-vector products in custom CUDA kernels. In every LM iteration, we calculate update directions from multiple image subsets using these kernels and combine them in a weighted mean. Overall, our method is 30% faster than the original 3DGS while obtaining the same reconstruction quality. Our optimization is also agnostic to other methods that acclerate 3DGS, thus enabling even faster speedups compared to vanilla 3DGS.