FLoD: Integration von flexibler Detailebene in die 3D-Gauß-Splatting für anpassbares Rendern

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Autoren: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Zusammenfassung

Die 3D-Gauß-Splatting (3DGS) erzielt schnelle und hochwertige Renderings durch die Verwendung zahlreicher kleiner Gaußscher Funktionen, was zu einer erheblichen Speichernutzung führt. Diese Abhängigkeit von einer großen Anzahl von Gaußschen Funktionen beschränkt die Anwendung von 3DGS-basierten Modellen auf kostengünstigen Geräten aufgrund von Speicherbeschränkungen. Wenn jedoch einfach die Anzahl der Gaußschen Funktionen reduziert wird, um Geräte mit geringerer Speicherkapazität anzupassen, führt dies im Vergleich zur Qualität, die auf High-End-Hardware erzielt werden kann, zu einer minderwertigen Qualität. Um diesem Mangel an Skalierbarkeit entgegenzuwirken, schlagen wir vor, ein Flexibles Level of Detail (FLoD) in 3DGS zu integrieren, um eine Szene je nach Hardwarefähigkeiten in verschiedenen Detailebenen rendern zu können. Während bestehende 3DGSs mit LoD sich auf detaillierte Rekonstruktionen konzentrieren, bietet unsere Methode Rekonstruktionen unter Verwendung einer geringen Anzahl von Gaußschen Funktionen für reduzierte Speicheranforderungen und einer größeren Anzahl von Gaußschen Funktionen für mehr Details. Experimente zeigen unsere verschiedenen Rendering-Optionen mit Abwägungen zwischen Rendering-Qualität und Speicherbedarf auf, wodurch Echtzeit-Rendering bei unterschiedlichen Speicherbeschränkungen ermöglicht wird. Darüber hinaus zeigen wir, dass unsere Methode auf verschiedene 3DGS-Frameworks verallgemeinert werden kann, was auf ihr Potenzial für die Integration in zukünftige Spitzenentwicklungen hinweist. Projektseite: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/