Gaussian Splatting 2D para Campos de Radiação Geometricamente Precisos

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Autores: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Resumo

O 3D Gaussian Splatting (3DGS) revolucionou recentemente a reconstrução de campos de radiação, alcançando síntese de novas vistas de alta qualidade e velocidade de renderização rápida sem necessidade de pré-processamento. No entanto, o 3DGS falha em representar superfícies com precisão devido à natureza inconsistente em múltiplas vistas dos Gaussianos 3D. Apresentamos o 2D Gaussian Splatting (2DGS), uma abordagem inovadora para modelar e reconstruir campos de radiação geometricamente precisos a partir de imagens de múltiplas vistas. Nossa ideia central é colapsar o volume 3D em um conjunto de discos Gaussianos 2D orientados. Diferente dos Gaussianos 3D, os Gaussianos 2D fornecem geometria consistente entre as vistas enquanto modelam superfícies intrinsecamente. Para recuperar superfícies finas com precisão e alcançar otimização estável, introduzimos um processo de splatting 2D preciso em perspectiva, utilizando interseção raio-splat e rasterização. Além disso, incorporamos termos de distorção de profundidade e consistência de normais para aprimorar ainda mais a qualidade das reconstruções. Demonstramos que nosso renderizador diferenciável permite reconstrução de geometria detalhada e livre de ruído, mantendo qualidade competitiva de aparência, velocidade rápida de treinamento e renderização em tempo real. Nosso código será disponibilizado publicamente.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.