Gaußscher Raureif: Bearbeitbare komplexe Strahlungsfelder mit Echtzeit-Rendering

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Autoren: Antoine Guédon, Vincent Lepetit

cs.AI

Zusammenfassung

Wir schlagen Gaussian Frosting vor, eine neuartige netzbasierte Darstellung für hochwertiges Rendern und Bearbeiten komplexer 3D-Effekte in Echtzeit. Unser Ansatz baut auf dem kürzlich entwickelten 3D-Gaussian Splatting-Framework auf, das eine Gruppe von 3D-Gaussians optimiert, um ein Strahlungsfeld aus Bildern anzunähern. Wir schlagen vor, zunächst ein Basismesh aus Gaussians während der Optimierung zu extrahieren, dann eine adaptive Schicht von Gaussians mit variabler Dicke um das Mesh herum aufzubauen und zu verfeinern, um feine Details und volumetrische Effekte in der Nähe der Oberfläche besser erfassen zu können, wie zum Beispiel Haare oder Gras. Diese Schicht nennen wir Gaussian Frosting, da sie einer Glasur auf einem Kuchen ähnelt. Je flauschiger das Material, desto dicker die Glasur. Wir führen auch eine Parametrisierung der Gaussians ein, um sicherzustellen, dass sie innerhalb der Glasurschicht bleiben und automatisch ihre Parameter anpassen, wenn das Mesh verformt, skaliert, bearbeitet oder animiert wird. Unsere Darstellung ermöglicht effizientes Rendern mittels Gaussian Splatting sowie Bearbeitung und Animation durch Modifikation des Basismeshes. Wir zeigen die Wirksamkeit unserer Methode anhand verschiedener synthetischer und realer Szenen und zeigen, dass sie bestehende oberflächenbasierte Ansätze übertrifft. Wir werden unseren Code und einen webbasierten Viewer als zusätzliche Beiträge veröffentlichen. Unsere Projektseite ist die folgende: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/