3D Gaussian Splatting per il Rendering in Tempo Reale di Campi di Radianza

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Autori: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Abstract

I metodi basati sui Campi di Radianza hanno recentemente rivoluzionato la sintesi di nuove visualizzazioni per scene catturate con più foto o video. Tuttavia, ottenere un'elevata qualità visiva richiede ancora reti neurali costose da addestrare e renderizzare, mentre i metodi più recenti e veloci inevitabilmente sacrificano la qualità per la velocità. Per scene illimitate e complete (anziché oggetti isolati) e rendering a risoluzione 1080p, nessun metodo attuale può raggiungere velocità di visualizzazione in tempo reale. Introduciamo tre elementi chiave che ci permettono di ottenere una qualità visiva all'avanguardia mantenendo tempi di addestramento competitivi e, soprattutto, consentono una sintesi di nuove visualizzazioni in tempo reale (>= 30 fps) ad alta qualità a risoluzione 1080p. In primo luogo, partendo da punti sparsi prodotti durante la calibrazione della fotocamera, rappresentiamo la scena con Gaussiane 3D che preservano le proprietà desiderabili dei campi di radianza volumetrici continui per l'ottimizzazione della scena, evitando calcoli non necessari nello spazio vuoto; in secondo luogo, eseguiamo un'ottimizzazione/controllo della densità intervallato delle Gaussiane 3D, ottimizzando in particolare la covarianza anisotropa per ottenere una rappresentazione accurata della scena; in terzo luogo, sviluppiamo un algoritmo di rendering veloce e consapevole della visibilità che supporta lo splatting anisotropo e accelera sia l'addestramento che permette il rendering in tempo reale. Dimostriamo una qualità visiva all'avanguardia e un rendering in tempo reale su diversi dataset consolidati.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.