Kompaktes 3D-Gauß-Splatting für statische und dynamische Strahlungsfelder.

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Autoren: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Zusammenfassung

Die 3D-Gaußsplatting (3DGS) hat sich kürzlich als alternative Darstellungsmethode etabliert, die eine auf Gaußschen 3D-Modellen basierende Darstellung nutzt und eine approximierte volumetrische Darstellung einführt, um eine sehr schnelle Rendering-Geschwindigkeit und vielversprechende Bildqualität zu erreichen. Darüber hinaus haben nachfolgende Studien 3DGS erfolgreich auf dynamische 3D-Szenen erweitert und damit ihr breites Anwendungsspektrum demonstriert. Allerdings ergibt sich ein signifikanter Nachteil, da 3DGS und seine darauf folgenden Methoden eine große Anzahl von Gaußschen benötigen, um die hohe Genauigkeit der gerenderten Bilder zu gewährleisten, was einen großen Speicherbedarf erfordert. Um dieses kritische Problem anzugehen, legen wir besonderen Wert auf zwei Hauptziele: die Reduzierung der Anzahl von Gaußschen Punkten, ohne die Leistung zu beeinträchtigen, und die Komprimierung der Gaußschen Attribute, wie beispielsweise farb- und kovarianzabhängige Eigenschaften. Zu diesem Zweck schlagen wir eine erlernbare Maskenstrategie vor, die die Anzahl der Gaußschen signifikant reduziert, während die Leistungsfähigkeit erhalten bleibt. Darüber hinaus schlagen wir eine kompakte, aber effektive Darstellung der farbabhängigen Eigenschaften vor, indem wir ein rasterbasiertes neuronales Feld verwenden, anstatt auf sphärische Harmonien zu setzen. Schließlich erlernen wir Codebücher, um die geometrischen und zeitlichen Attribute durch residualen Vektorquantisierung kompakt darzustellen. Mit Modellkompressionstechniken wie Quantisierung und Entropiecodierung zeigen wir konsistent über 25-fach reduzierten Speicherbedarf und verbesserte Rendering-Geschwindigkeit im Vergleich zu 3DGS für statische Szenen, während die Qualität der Szenendarstellung erhalten bleibt. Für dynamische Szenen erreicht unser Ansatz eine über 12-fache Speichereffizienz und behält im Vergleich zu den bestehenden State-of-the-Art-Methoden eine hochwertige Rekonstruktion bei. Unsere Arbeit bietet einen umfassenden Rahmen für die 3D-Szenendarstellung, der hohe Leistung, schnelles Training, Kompaktheit und echtzeitfähiges Rendering erreicht. Unsere Projektseite ist unter https://maincold2.github.io/c3dgs/ verfügbar.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.