SuGaR: 효율적인 3D 메쉬 재구성 및 고품질 메쉬 렌더링을 위한 표면 정렬 가우시안 스플래팅

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

November 21, 2023

저자: Antoine Guédon, Vincent Lepetit

cs.AI

초록

3D 가우시안 스플래팅(Gaussian Splatting)으로부터 정밀하고 극도로 빠른 메시 추출을 가능하게 하는 방법을 제안합니다. 가우시안 스플래팅은 최근 NeRF보다 훨씬 빠르게 학습하면서도 사실적인 렌더링 결과를 제공하여 큰 인기를 끌고 있습니다. 그러나 수백만 개의 작은 3D 가우시안으로부터 메시를 추출하는 것은 매우 어려운 과제입니다. 이 가우시안들은 최적화 후에 무질서하게 배열되는 경향이 있으며, 지금까지 이를 해결할 방법이 제안된 바 없습니다. 우리의 첫 번째 주요 기여는 가우시안이 장면의 표면과 잘 정렬되도록 유도하는 정규화 항입니다. 그런 다음 이 정렬을 활용하여 푸아송 재구성(Poisson reconstruction)을 통해 가우시안으로부터 메시를 추출하는 방법을 소개합니다. 이 방법은 기존의 Neural SDF에서 메시를 추출하는 데 주로 사용되는 Marching Cubes 알고리즘과 달리 빠르고 확장 가능하며 디테일을 보존합니다. 마지막으로, 선택적인 정제 전략을 도입하여 가우시안을 메시 표면에 결합시키고, 가우시안 스플래팅 렌더링을 통해 이 가우시안과 메시를 공동으로 최적화합니다. 이를 통해 가우시안 자체를 조작하는 대신 메시를 조작하여 전통적인 소프트웨어를 사용해 가우시안을 쉽게 편집, 조각, 리깅, 애니메이션, 합성 및 재조명할 수 있습니다. 우리의 방법을 사용하면 사실적인 렌더링을 위한 편집 가능한 메시를 최신 Neural SDF 방법에 비해 몇 시간이 아닌 몇 분 안에 얻을 수 있으며, 더 나은 렌더링 품질을 제공합니다.

English

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.