Двумерное гауссово сглаживание для геометрически точных полей излучения.

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

Авторы: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

Аннотация

3D Гауссово сглаживание (3DGS) недавно революционизировало восстановление поля радиации, достигая высокого качества синтеза нового вида и быстрой скорости рендеринга без предварительной обработки. Однако 3DGS не удается точно представить поверхности из-за многоплановой несогласованности 3D Гауссов. Мы представляем 2D Гауссово сглаживание (2DGS), новый подход к моделированию и восстановлению геометрически точных полей радиации из многоплановых изображений. Наш ключевой идеей является схлопывание 3D объема в набор 2D ориентированных плоских гауссовских дисков. В отличие от 3D Гауссов, 2D Гауссовы обеспечивают согласованную с точки зрения геометрию, моделируя поверхности интринсически. Для точного восстановления тонких поверхностей и достижения стабильной оптимизации мы представляем перспективно точный процесс 2D сглаживания, используя пересечение луча и сглаживание по растру. Кроме того, мы включаем искажения глубины и термины нормальной согласованности для дальнейшего улучшения качества реконструкций. Мы демонстрируем, что наш дифференцируемый рендерер позволяет получить шумоустойчивую и детализированную геометрическую реконструкцию, сохраняя конкурентоспособное качество внешнего вида, быструю скорость обучения и рендеринг в реальном времени. Наш код будет общедоступным.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.