Esplatado 3D de Gaussianas para la Renderización en Tiempo Real de Campos de Radiancia

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Autores: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Resumen

Los métodos de campos de radiancia han revolucionado recientemente la síntesis de nuevas vistas de escenas capturadas con múltiples fotos o videos. Sin embargo, lograr una alta calidad visual aún requiere redes neuronales que son costosas de entrenar y renderizar, mientras que los métodos más recientes y rápidos inevitablemente sacrifican calidad por velocidad. Para escenas completas y sin límites (en lugar de objetos aislados) y renderización en resolución 1080p, ningún método actual puede alcanzar tasas de visualización en tiempo real. Introducimos tres elementos clave que nos permiten lograr una calidad visual de vanguardia mientras mantenemos tiempos de entrenamiento competitivos y, lo que es más importante, permiten la síntesis de nuevas vistas en tiempo real (>= 30 fps) y en alta calidad a resolución 1080p. Primero, partiendo de puntos dispersos generados durante la calibración de la cámara, representamos la escena con gaussianos 3D que preservan las propiedades deseables de los campos de radiancia volumétricos continuos para la optimización de la escena, evitando cálculos innecesarios en espacios vacíos; segundo, realizamos una optimización/densidad intercalada de los gaussianos 3D, optimizando notablemente la covarianza anisotrópica para lograr una representación precisa de la escena; tercero, desarrollamos un algoritmo de renderizado rápido consciente de la visibilidad que soporta splatting anisotrópico y acelera tanto el entrenamiento como permite el renderizado en tiempo real. Demostramos una calidad visual de vanguardia y renderizado en tiempo real en varios conjuntos de datos establecidos.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.