2D Gaussische Splatting voor Geometrisch Nauwkeurige Radiance Velden

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Auteurs: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) heeft recentelijk een revolutie teweeggebracht in de reconstructie van stralingsvelden, waarbij het hoogwaardige synthese van nieuwe gezichtspunten en snelle renderingsnelheden bereikt zonder het gebruik van baking. Echter slaagt 3DGS er niet in om oppervlakken nauwkeurig weer te geven vanwege de multi-view inconsistente aard van 3D Gaussians. Wij presenteren 2D Gaussian Splatting (2DGS), een nieuwe benadering om geometrisch nauwkeurige stralingsvelden te modelleren en te reconstrueren vanuit multi-view beelden. Onze kernidee is om het 3D volume te reduceren tot een set van 2D georiënteerde planaire Gaussische schijven. In tegenstelling tot 3D Gaussians bieden 2D Gaussians een consistent geometrisch beeld terwijl ze oppervlakken intrinsiek modelleren. Om dunne oppervlakken nauwkeurig te herstellen en een stabiele optimalisatie te bereiken, introduceren we een perspectief-nauwkeurig 2D splatting proces dat gebruik maakt van ray-splat intersectie en rasterisatie. Daarnaast integreren we diepte-vervorming en normal consistency termen om de kwaliteit van de reconstructies verder te verbeteren. We demonstreren dat onze differentieerbare renderer een ruisvrije en gedetailleerde geometrische reconstructie mogelijk maakt, terwijl het competitieve beeldkwaliteit, snelle trainingssnelheid en real-time rendering behoudt. Onze code zal publiekelijk beschikbaar worden gemaakt.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.