3D Gaussische Splatting voor Real-Time Radiance Field Rendering
3D Gaussian Splatting for Real-Time Radiance Field Rendering
August 8, 2023
Auteurs: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis
cs.AI
Samenvatting
Radiance Field-methoden hebben recentelijk een revolutie teweeggebracht in de synthese van nieuwe gezichtspunten van scènes die zijn vastgelegd met meerdere foto's of video's. Het bereiken van hoge visuele kwaliteit vereist echter nog steeds neurale netwerken die kostbaar zijn om te trainen en te renderen, terwijl recente snellere methoden onvermijdelijk snelheid inruilen voor kwaliteit. Voor onbegrensde en complete scènes (in plaats van geïsoleerde objecten) en rendering met 1080p-resolutie kan geen enkele huidige methode real-time weergavesnelheden bereiken. Wij introduceren drie belangrijke elementen die het mogelijk maken om state-of-the-art visuele kwaliteit te bereiken, terwijl de trainingsduur concurrerend blijft en, cruciaal, hoogwaardige real-time (>= 30 fps) synthese van nieuwe gezichtspunten bij 1080p-resolutie mogelijk maakt. Ten eerste representeren we, uitgaande van sparse punten die tijdens de camerakalibratie worden geproduceerd, de scène met 3D Gaussians die de gewenste eigenschappen van continue volumetrische radiance fields behouden voor scèneoptimalisatie, terwijl onnodige berekeningen in lege ruimte worden vermeden. Ten tweede voeren we een intermitterende optimalisatie/dichtheidscontrole uit van de 3D Gaussians, waarbij anisotrope covariantie wordt geoptimaliseerd om een nauwkeurige representatie van de scène te bereiken. Ten derde ontwikkelen we een snel zichtbaarheidsbewust rendering-algoritme dat anisotroop splatten ondersteunt en zowel de training versnelt als real-time rendering mogelijk maakt. We demonstreren state-of-the-art visuele kwaliteit en real-time rendering op verschillende gevestigde datasets.
English
Radiance Field methods have recently revolutionized novel-view synthesis of
scenes captured with multiple photos or videos. However, achieving high visual
quality still requires neural networks that are costly to train and render,
while recent faster methods inevitably trade off speed for quality. For
unbounded and complete scenes (rather than isolated objects) and 1080p
resolution rendering, no current method can achieve real-time display rates. We
introduce three key elements that allow us to achieve state-of-the-art visual
quality while maintaining competitive training times and importantly allow
high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution.
First, starting from sparse points produced during camera calibration, we
represent the scene with 3D Gaussians that preserve desirable properties of
continuous volumetric radiance fields for scene optimization while avoiding
unnecessary computation in empty space; Second, we perform interleaved
optimization/density control of the 3D Gaussians, notably optimizing
anisotropic covariance to achieve an accurate representation of the scene;
Third, we develop a fast visibility-aware rendering algorithm that supports
anisotropic splatting and both accelerates training and allows realtime
rendering. We demonstrate state-of-the-art visual quality and real-time
rendering on several established datasets.