2D Gaußsches Splatting für geometrisch genaue Strahlungsfelder

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Autoren: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Zusammenfassung

Die 3D-Gauß-Splatting (3DGS) hat kürzlich die Rekonstruktion von Strahlungsfeldern revolutioniert, indem sie eine hochwertige Synthese neuer Ansichten und schnelle Rendering-Geschwindigkeiten ohne Vorverarbeitung ermöglicht. Allerdings kann 3DGS aufgrund der multiplen Ansichten inkonsistenten Natur der 3D-Gaußschen Oberflächen nicht genau darstellen. Wir stellen das 2D-Gauß-Splatting (2DGS) vor, einen neuartigen Ansatz zur Modellierung und Rekonstruktion geometrisch genauer Strahlungsfelder aus Multi-View-Bildern. Unsere Schlüsselidee besteht darin, das 3D-Volumen in eine Reihe von 2D-ausgerichteten planaren Gaußschen Scheiben zu überführen. Im Gegensatz zu 3D-Gaußschen bieten 2D-Gaußschen eine konsistente Ansichtsgeometrie und modellieren Oberflächen intrinsisch. Um dünne Oberflächen genau wiederherzustellen und eine stabile Optimierung zu erreichen, führen wir einen perspektivgenauen 2D-Splatting-Prozess ein, der Ray-Splat-Schnittpunkte und Rasterisierung nutzt. Darüber hinaus integrieren wir Tiefenverzerrungs- und Normalenkonsistenzbedingungen, um die Qualität der Rekonstruktionen weiter zu verbessern. Wir zeigen, dass unser differenzierbarer Renderer eine rauschfreie und detaillierte Geometrierekonstruktion ermöglicht, während er eine wettbewerbsfähige Erscheinungsqualität, schnelle Trainingsgeschwindigkeit und Echtzeit-Rendering beibehält. Unser Code wird öffentlich zugänglich gemacht.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.