RadSplat: Radiance Field-Geïnformeerd Gaussisch Splatting voor Robuust Real-Time Renderen met 900+ FPS

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

Auteurs: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

Samenvatting

Recente vooruitgang in view synthesis en real-time rendering heeft fotorealistische kwaliteit bereikt met indrukwekkende rendersnelheden. Hoewel Radiance Field-gebaseerde methoden state-of-the-art kwaliteit behalen in uitdagende scenario's zoals in-the-wild opnames en grootschalige scènes, lijden ze vaak onder extreem hoge rekenvereisten die verband houden met volumetrische rendering. Gaussian Splatting-gebaseerde methoden daarentegen vertrouwen op rasterisatie en bereiken van nature real-time rendering, maar hebben last van broze optimalisatieheuristieken die onderpresteren in meer uitdagende scènes. In dit werk presenteren we RadSplat, een lichtgewicht methode voor robuuste real-time rendering van complexe scènes. Onze belangrijkste bijdragen zijn drievoudig. Ten eerste gebruiken we radiance fields als een prior en supervisiesignaal voor het optimaliseren van puntgebaseerde scène-representaties, wat leidt tot verbeterde kwaliteit en robuustere optimalisatie. Vervolgens ontwikkelen we een nieuwe pruning-techniek die het totale aantal punten vermindert terwijl de hoge kwaliteit behouden blijft, wat resulteert in kleinere en compacter scène-representaties met snellere inferentiesnelheden. Tot slot stellen we een nieuwe test-time filtering-aanpak voor die de rendering verder versnelt en schaalbaarheid naar grotere, huisgrote scènes mogelijk maakt. We constateren dat onze methode state-of-the-art synthese van complexe opnames mogelijk maakt met meer dan 900 FPS.

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.