Gaussian Splatting 2D para Campos de Radiancia Geométricamente Precisos

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Autores: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Resumen

El 3D Gaussian Splatting (3DGS) ha revolucionado recientemente la reconstrucción de campos de radiancia, logrando una síntesis de nuevas vistas de alta calidad y una velocidad de renderizado rápida sin necesidad de preprocesamiento. Sin embargo, el 3DGS no logra representar superficies con precisión debido a la naturaleza inconsistente en múltiples vistas de los Gaussianos 3D. Presentamos el 2D Gaussian Splatting (2DGS), un enfoque novedoso para modelar y reconstruir campos de radiancia geométricamente precisos a partir de imágenes multivista. Nuestra idea clave es colapsar el volumen 3D en un conjunto de discos Gaussianos 2D orientados en planos. A diferencia de los Gaussianos 3D, los Gaussianos 2D proporcionan una geometría consistente en todas las vistas mientras modelan superficies de manera intrínseca. Para recuperar con precisión superficies delgadas y lograr una optimización estable, introducimos un proceso de splatting 2D preciso en perspectiva que utiliza la intersección rayo-splat y la rasterización. Además, incorporamos términos de distorsión de profundidad y consistencia de normales para mejorar aún más la calidad de las reconstrucciones. Demostramos que nuestro renderizador diferenciado permite una reconstrucción de geometría detallada y libre de ruido, manteniendo una calidad de apariencia competitiva, una velocidad de entrenamiento rápida y un renderizado en tiempo real. Nuestro código estará disponible públicamente.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.