Gaussian Splatting 2D per Campi di Radianza Geometricamente Precisi

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Autori: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Abstract

Il 3D Gaussian Splatting (3DGS) ha recentemente rivoluzionato la ricostruzione dei campi di radianza, raggiungendo una sintesi di nuove viste di alta qualità e una velocità di rendering rapida senza necessità di baking. Tuttavia, il 3DGS non riesce a rappresentare accuratamente le superfici a causa della natura multivista incoerente dei Gaussian 3D. Presentiamo il 2D Gaussian Splatting (2DGS), un approccio innovativo per modellare e ricostruire campi di radianza geometricamente accurati a partire da immagini multivista. La nostra idea chiave è collassare il volume 3D in un insieme di dischi Gaussian 2D orientati. A differenza dei Gaussian 3D, i Gaussian 2D forniscono una geometria coerente rispetto alla vista, modellando intrinsecamente le superfici. Per recuperare accuratamente superfici sottili e ottenere un'ottimizzazione stabile, introduciamo un processo di splatting 2D accurato dal punto di vista prospettico, utilizzando l'intersezione raggio-splat e la rasterizzazione. Inoltre, incorporiamo termini di distorsione della profondità e di coerenza delle normali per migliorare ulteriormente la qualità delle ricostruzioni. Dimostriamo che il nostro renderer differenziabile consente una ricostruzione della geometria priva di rumore e dettagliata, mantenendo una qualità dell'aspetto competitiva, una velocità di addestramento rapida e un rendering in tempo reale. Il nostro codice sarà reso pubblicamente disponibile.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.