SuGaR: Oberflächenausgerichtetes Gaußsches Splatting für effiziente 3D-Mesh-Rekonstruktion und hochwertiges Mesh-Rendering

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Autoren: Antoine Guédon, Vincent Lepetit

cs.AI

Zusammenfassung

Wir schlagen eine Methode vor, die eine präzise und extrem schnelle Meshextraktion aus 3D-Gaussian-Splatting ermöglicht. Gaussian-Splatting hat in letzter Zeit große Popularität erlangt, da es realistische Darstellungen liefert und gleichzeitig deutlich schneller zu trainieren ist als NeRFs. Es ist jedoch herausfordernd, ein Mesh aus den Millionen von winzigen 3D-Gaußverteilungen zu extrahieren, da diese Gaußverteilungen nach der Optimierung tendenziell unorganisiert sind und bisher keine Methode dafür vorgeschlagen wurde. Unser erster wesentlicher Beitrag ist ein Regularisierungsterm, der die Gaußverteilungen dazu anregt, sich gut an die Oberfläche der Szene anzupassen. Anschließend führen wir eine Methode ein, die diese Ausrichtung nutzt, um ein Mesh aus den Gaußverteilungen mittels Poisson-Rekonstruktion zu extrahieren. Dies ist schnell, skalierbar und bewahrt Details im Gegensatz zum Marching-Cubes-Algorithmus, der üblicherweise zur Meshextraktion aus Neuralen SDFs verwendet wird. Schließlich stellen wir eine optionale Verfeinerungsstrategie vor, die Gaußverteilungen an die Oberfläche des Meshes bindet und diese Gaußverteilungen sowie das Mesh gemeinsam durch Gaussian-Splatting-Rendering optimiert. Dies ermöglicht einfaches Bearbeiten, Skulpturieren, Rigging, Animieren, Compositing und Neubeleuchtung der Gaußverteilungen mithilfe traditioneller Software, indem das Mesh anstelle der Gaußverteilungen selbst manipuliert wird. Das Abrufen eines solchen bearbeitbaren Meshes für realistische Darstellungen erfolgt mit unserer Methode innerhalb von Minuten, verglichen mit Stunden bei den state-of-the-art Methoden für neurale SDFs, bei gleichzeitig besserer Darstellungsqualität.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.