3D-Gaußsches Splatting für Echtzeit-Radiance-Field-Rendering

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Autoren: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Zusammenfassung

Radiance-Field-Methoden haben kürzlich die Neuansichtssynthese von Szenen, die mit mehreren Fotos oder Videos aufgenommen wurden, revolutioniert. Allerdings erfordert das Erreichen hoher visueller Qualität immer noch neuronale Netze, die teuer in Training und Rendering sind, während neuere schnellere Methoden unweigerlich Geschwindigkeit gegen Qualität eintauschen. Für unbegrenzte und vollständige Szenen (anstelle isolierter Objekte) und 1080p-Auflösung kann keine aktuelle Methode Echtzeit-Darstellungsraten erreichen. Wir führen drei Schlüsselelemente ein, die es uns ermöglichen, state-of-the-art visuelle Qualität bei wettbewerbsfähigen Trainingszeiten zu erreichen und insbesondere eine hochwertige Echtzeit-Neuansichtssynthese (>= 30 fps) bei 1080p-Auflösung zu ermöglichen. Erstens repräsentieren wir die Szene, ausgehend von spärlichen Punkten, die während der Kamerakalibrierung erzeugt werden, mit 3D-Gaußschen, die wünschenswerte Eigenschaften kontinuierlicher volumetrischer Radiance Fields für die Szenenoptimierung bewahren, während unnötige Berechnungen im leeren Raum vermieden werden; Zweitens führen wir eine verschachtelte Optimierung/Dichtekontrolle der 3D-Gaußschen durch, wobei insbesondere anisotrope Kovarianzen optimiert werden, um eine präzise Darstellung der Szene zu erreichen; Drittens entwickeln wir einen schnellen sichtbarkeitsbewussten Rendering-Algorithmus, der anisotropes Splatting unterstützt und sowohl das Training beschleunigt als auch Echtzeit-Rendering ermöglicht. Wir demonstrieren state-of-the-art visuelle Qualität und Echtzeit-Rendering auf mehreren etablierten Datensätzen.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.