Splatting de Gaussiennes 3D pour le rendu en temps réel de champs de radiance

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Auteurs: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Résumé

Les méthodes de champs de radiance ont récemment révolutionné la synthèse de nouvelles vues à partir de scènes capturées avec plusieurs photos ou vidéos. Cependant, atteindre une qualité visuelle élevée nécessite encore des réseaux de neurones coûteux à entraîner et à rendre, tandis que les méthodes plus récentes et rapides sacrifient inévitablement la qualité pour la vitesse. Pour les scènes non délimitées et complètes (plutôt que des objets isolés) et un rendu en résolution 1080p, aucune méthode actuelle ne peut atteindre des taux d'affichage en temps réel. Nous introduisons trois éléments clés qui nous permettent d'atteindre une qualité visuelle de pointe tout en maintenant des temps d'entraînement compétitifs et, surtout, de permettre une synthèse de nouvelles vues en temps réel (>= 30 ips) en résolution 1080p de haute qualité. Premièrement, en partant de points épars produits lors de l'étalonnage de la caméra, nous représentons la scène avec des Gaussiennes 3D qui préservent les propriétés souhaitables des champs de radiance volumétriques continus pour l'optimisation de la scène tout en évitant les calculs inutiles dans l'espace vide ; Deuxièmement, nous effectuons une optimisation/densité entrelacée des Gaussiennes 3D, en optimisant notamment la covariance anisotrope pour obtenir une représentation précise de la scène ; Troisièmement, nous développons un algorithme de rendu rapide prenant en compte la visibilité qui supporte le splatting anisotrope et accélère à la fois l'entraînement et permet un rendu en temps réel. Nous démontrons une qualité visuelle de pointe et un rendu en temps réel sur plusieurs ensembles de données établis.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.