SuGaR: Superfície Alinhada com Splatting Gaussiano para Reconstrução Eficiente de Malhas 3D e Renderização de Alta Qualidade

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Autores: Antoine Guédon, Vincent Lepetit

cs.AI

Resumo

Propomos um método para permitir a extração precisa e extremamente rápida de malhas a partir do Gaussian Splatting 3D. O Gaussian Splatting tornou-se recentemente muito popular, pois produz renderizações realistas enquanto é significativamente mais rápido de treinar do que os NeRFs. No entanto, é desafiador extrair uma malha a partir dos milhões de pequenos gaussianos 3D, já que esses gaussianos tendem a ficar desorganizados após a otimização, e nenhum método foi proposto até agora. Nossa primeira contribuição fundamental é um termo de regularização que incentiva os gaussianos a se alinharem bem com a superfície da cena. Em seguida, introduzimos um método que explora esse alinhamento para extrair uma malha dos gaussianos usando a reconstrução de Poisson, que é rápida, escalável e preserva detalhes, em contraste com o algoritmo Marching Cubes, geralmente aplicado para extrair malhas a partir de SDFs neurais. Por fim, introduzimos uma estratégia opcional de refinamento que vincula os gaussianos à superfície da malha e otimiza conjuntamente esses gaussianos e a malha por meio da renderização do Gaussian Splatting. Isso permite a fácil edição, escultura, rigging, animação, composição e reiluminação dos gaussianos usando softwares tradicionais, manipulando a malha em vez dos próprios gaussianos. A recuperação de uma malha editável para renderização realista é feita em minutos com nosso método, em comparação com horas usando os métodos state-of-the-art em SDFs neurais, enquanto oferece uma qualidade de renderização superior.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.