SuGaR: Выравнивание поверхностей с использованием гауссовых сплайнов для эффективной реконструкции 3D-сеток и высококачественного рендеринга

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

Авторы: Antoine Guédon, Vincent Lepetit

cs.AI

Аннотация

Мы предлагаем метод, позволяющий выполнять точное и чрезвычайно быстрое извлечение сетки из 3D-гауссовых сплатов. Гауссовы сплаты недавно стали очень популярными, так как они обеспечивают реалистичный рендеринг, при этом обучаются значительно быстрее, чем NeRF. Однако извлечение сетки из миллионов крошечных 3D-гауссов представляет собой сложную задачу, поскольку эти гауссовы функции после оптимизации оказываются неупорядоченными, и до сих пор не было предложено подходящего метода. Наш первый ключевой вклад — это регуляризационный член, который способствует выравниванию гауссовых функций относительно поверхности сцены. Затем мы представляем метод, который использует это выравнивание для извлечения сетки из гауссовых функций с помощью реконструкции Пуассона. Этот метод быстрый, масштабируемый и сохраняет детали, в отличие от алгоритма Marching Cubes, который обычно применяется для извлечения сеток из нейронных SDF. Наконец, мы предлагаем дополнительную стратегию уточнения, которая привязывает гауссовы функции к поверхности сетки и совместно оптимизирует эти гауссовы функции и сетку через рендеринг гауссовых сплатов. Это позволяет легко редактировать, скульптурировать, риггировать, анимировать, компоновать и изменять освещение гауссовых функций с помощью традиционных программ, манипулируя сеткой вместо самих гауссовых функций. Извлечение такой редактируемой сетки для реалистичного рендеринга занимает минуты с нашим методом, в отличие от часов, требуемых современными методами для нейронных SDF, при этом обеспечивая лучшее качество рендеринга.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.