SuGaR: Oppervlakte-uitgelijnde Gaussische Splatting voor Efficiënte 3D Mesh-reconstructie en Hoogwaardige Mesh-rendering

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Auteurs: Antoine Guédon, Vincent Lepetit

cs.AI

Samenvatting

Wij stellen een methode voor om precieze en extreem snelle mesh-extractie mogelijk te maken vanuit 3D Gaussian Splatting. Gaussian Splatting is recentelijk zeer populair geworden omdat het realistische rendering oplevert terwijl het aanzienlijk sneller te trainen is dan NeRFs. Het is echter uitdagend om een mesh te extraheren uit de miljoenen kleine 3D-gaussiaanse functies, aangezien deze gaussiaanse functies na optimalisatie vaak ongeorganiseerd zijn en er tot nu toe geen methode is voorgesteld. Onze eerste belangrijke bijdrage is een regularisatieterm die ervoor zorgt dat de gaussiaanse functies goed uitlijnen met het oppervlak van de scène. Vervolgens introduceren we een methode die deze uitlijning benut om een mesh te extraheren uit de gaussiaanse functies met behulp van Poisson-reconstructie, wat snel, schaalbaar en detailbehoudend is, in tegenstelling tot het Marching Cubes-algoritme dat meestal wordt toegepast om meshes te extraheren uit Neural SDFs. Tot slot introduceren we een optionele verfijningsstrategie die gaussiaanse functies bindt aan het oppervlak van de mesh, en deze gaussiaanse functies en de mesh gezamenlijk optimaliseert via Gaussian Splatting-rendering. Hierdoor wordt het eenvoudig om de gaussiaanse functies te bewerken, te sculpten, te riggen, te animeren, te componeren en te herbelichten met traditionele software door de mesh te manipuleren in plaats van de gaussiaanse functies zelf. Het verkrijgen van zo'n bewerkbare mesh voor realistische rendering wordt met onze methode binnen enkele minuten bereikt, vergeleken met uren bij de state-of-the-art methoden voor neurale SDFs, terwijl een betere renderkwaliteit wordt geboden.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.