SuGaR : Projection de Gauss alignée sur la surface pour une reconstruction efficace de maillages 3D et un rendu de maillage de haute qualité

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Auteurs: Antoine Guédon, Vincent Lepetit

cs.AI

Résumé

Nous proposons une méthode permettant une extraction de maillage précise et extrêmement rapide à partir du rendu par splatting de Gaussiennes 3D. Le splatting de Gaussiennes est récemment devenu très populaire car il permet un rendu réaliste tout en étant significativement plus rapide à entraîner que les NeRFs. Cependant, il est difficile d'extraire un maillage à partir des millions de petites Gaussiennes 3D, car ces Gaussiennes ont tendance à être désorganisées après l'optimisation, et aucune méthode n'a été proposée jusqu'à présent. Notre première contribution clé est un terme de régularisation qui encourage les Gaussiennes à s'aligner correctement avec la surface de la scène. Nous introduisons ensuite une méthode qui exploite cet alignement pour extraire un maillage à partir des Gaussiennes en utilisant la reconstruction de Poisson, qui est rapide, scalable et préserve les détails, contrairement à l'algorithme des Marching Cubes généralement appliqué pour extraire des maillages à partir de SDFs neuronaux. Enfin, nous introduisons une stratégie de raffinement optionnelle qui lie les Gaussiennes à la surface du maillage, et optimise conjointement ces Gaussiennes et le maillage via le rendu par splatting de Gaussiennes. Cela permet une édition, une sculpture, un rigging, une animation, un compositing et un rééclairage faciles des Gaussiennes en utilisant des logiciels traditionnels en manipulant le maillage plutôt que les Gaussiennes elles-mêmes. La récupération d'un tel maillage éditable pour un rendu réaliste se fait en quelques minutes avec notre méthode, contre plusieurs heures avec les méthodes de pointe sur les SDFs neuronaux, tout en offrant une meilleure qualité de rendu.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.