Gaussian Splatting 2D pour des champs de radiance géométriquement précis

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Auteurs: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Résumé

Le 3D Gaussian Splatting (3DGS) a récemment révolutionné la reconstruction de champs de radiance, permettant une synthèse de nouvelles vues de haute qualité et un rendu rapide sans précalcul. Cependant, le 3DGS échoue à représenter avec précision les surfaces en raison de la nature incohérente en multi-vues des Gaussiennes 3D. Nous présentons le 2D Gaussian Splatting (2DGS), une nouvelle approche pour modéliser et reconstruire des champs de radiance géométriquement précis à partir d'images multi-vues. Notre idée clé est de réduire le volume 3D en un ensemble de disques gaussiens 2D orientés. Contrairement aux Gaussiennes 3D, les Gaussiennes 2D fournissent une géométrie cohérente en vue tout en modélisant intrinsèquement les surfaces. Pour reconstituer avec précision les surfaces fines et obtenir une optimisation stable, nous introduisons un processus de splatting 2D précis en perspective utilisant l'intersection rayon-splat et la rasterisation. De plus, nous intégrons des termes de distorsion de profondeur et de cohérence des normales pour améliorer davantage la qualité des reconstructions. Nous démontrons que notre rendu différenciable permet une reconstruction géométrique détaillée et sans bruit tout en maintenant une qualité d'apparence compétitive, une vitesse d'entraînement rapide et un rendu en temps réel. Notre code sera rendu public.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.