SuGaR: Gaussiana Allineata alla Superficie per una Ricostruzione Efficiente di Mesh 3D e un Rendering di Mesh di Alta Qualità

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Autori: Antoine Guédon, Vincent Lepetit

cs.AI

Abstract

Proponiamo un metodo per consentire l'estrazione precisa e estremamente rapida di mesh dal 3D Gaussian Splatting. Il Gaussian Splatting è diventato recentemente molto popolare poiché produce rendering realistici ed è significativamente più veloce da addestrare rispetto alle NeRF. Tuttavia, è complesso estrarre una mesh dai milioni di piccoli gaussiani 3D, poiché questi tendono a essere disorganizzati dopo l'ottimizzazione e finora non è stato proposto alcun metodo. Il nostro primo contributo chiave è un termine di regolarizzazione che incoraggia i gaussiani ad allinearsi bene con la superficie della scena. Introduciamo poi un metodo che sfrutta questo allineamento per estrarre una mesh dai gaussiani utilizzando la ricostruzione di Poisson, che è veloce, scalabile e preserva i dettagli, a differenza dell'algoritmo Marching Cubes solitamente applicato per estrarre mesh dalle SDF neurali. Infine, introduciamo una strategia di raffinamento opzionale che vincola i gaussiani alla superficie della mesh e ottimizza congiuntamente questi gaussiani e la mesh attraverso il rendering del Gaussian Splatting. Ciò consente una facile modifica, scultura, rigging, animazione, composizione e riluminazione dei gaussiani utilizzando software tradizionali, manipolando la mesh invece dei gaussiani stessi. Recuperare una mesh modificabile per il rendering realistico richiede pochi minuti con il nostro metodo, rispetto alle ore necessarie con i metodi all'avanguardia sulle SDF neurali, garantendo al contempo una migliore qualità di rendering.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.