SuGaR: サーフェスアラインドガウススプラッティングによる効率的な3Dメッシュ再構成と高品質メッシュレンダリング

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

著者: Antoine Guédon, Vincent Lepetit

cs.AI

要旨

3Dガウススプラッティングから精密かつ極めて高速にメッシュを抽出する手法を提案します。ガウススプラッティングは、NeRFと比べて大幅に高速に学習できながら現実的なレンダリングを実現するため、最近非常に人気を集めています。しかし、最適化後に数百万の微小な3Dガウシアンが無秩序に配置される傾向があるため、これまでメッシュを抽出する手法は提案されていませんでした。私たちの最初の重要な貢献は、ガウシアンがシーンの表面に適切に整列するよう促す正則化項です。次に、この整列を利用してガウシアンからメッシュを抽出する手法を導入します。この手法はPoisson再構成を用いており、高速でスケーラブルであり、詳細を保持します。これは、ニューラルSDFからメッシュを抽出するために通常用いられるMarching Cubesアルゴリズムとは対照的です。最後に、オプションのリファインメント戦略を導入します。この戦略では、ガウシアンをメッシュの表面にバインドし、ガウススプラッティングレンダリングを通じてこれらのガウシアンとメッシュを共同で最適化します。これにより、ガウシアン自体を操作する代わりにメッシュを操作することで、従来のソフトウェアを使用してガウシアンの編集、スカルプト、リギング、アニメーション、合成、リライティングを容易に行うことができます。私たちの手法では、現実的なレンダリングのための編集可能なメッシュを数分で取得できます。これは、ニューラルSDFの最先端手法では数時間かかるのに対し、より優れたレンダリング品質を提供します。

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.