SuGaR: Ajuste de Gaussianas Alineadas a la Superficie para la Reconstrucción Eficiente de Mallas 3D y Renderizado de Mallas de Alta Calidad

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Autores: Antoine Guédon, Vincent Lepetit

cs.AI

Resumen

Proponemos un método para permitir la extracción precisa y extremadamente rápida de mallas a partir de Gaussian Splatting 3D. Gaussian Splatting ha ganado mucha popularidad recientemente, ya que produce renderizados realistas mientras es significativamente más rápido de entrenar que los NeRFs. Sin embargo, es un desafío extraer una malla a partir de los millones de gaussianos 3D pequeños, ya que estos gaussianos tienden a estar desorganizados después de la optimización y hasta ahora no se ha propuesto ningún método para ello. Nuestra primera contribución clave es un término de regularización que fomenta que los gaussianos se alineen bien con la superficie de la escena. Luego, introducimos un método que aprovecha esta alineación para extraer una malla a partir de los gaussianos utilizando la reconstrucción de Poisson, la cual es rápida, escalable y preserva los detalles, en contraste con el algoritmo Marching Cubes que suele aplicarse para extraer mallas a partir de SDFs neuronales. Finalmente, presentamos una estrategia opcional de refinamiento que vincula los gaussianos a la superficie de la malla y optimiza conjuntamente estos gaussianos y la malla mediante el renderizado de Gaussian Splatting. Esto permite la edición, escultura, rigging, animación, composición y reiluminación sencilla de los gaussianos utilizando software tradicional al manipular la malla en lugar de los gaussianos mismos. La obtención de una malla editable para renderizados realistas se realiza en minutos con nuestro método, en comparación con las horas que requieren los métodos más avanzados en SDFs neuronales, mientras se ofrece una mejor calidad de renderizado.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.