Gaussian Frosting: Bewerkbare Complexe Radiance Velden met Real-Time Rendering

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Auteurs: Antoine Guédon, Vincent Lepetit

cs.AI

Samenvatting

We stellen Gaussian Frosting voor, een nieuwe mesh-gebaseerde representatie voor hoogwaardige rendering en bewerking van complexe 3D-effecten in realtime. Onze aanpak bouwt voort op het recente 3D Gaussian Splatting-framework, dat een set van 3D Gaussians optimaliseert om een radiance field uit afbeeldingen te benaderen. We stellen voor om eerst een basis-mesh uit Gaussians te extraheren tijdens de optimalisatie, en vervolgens een adaptieve laag van Gaussians met variabele dikte rond de mesh op te bouwen en te verfijnen om fijne details en volumetrische effecten nabij het oppervlak, zoals haar of gras, beter vast te leggen. We noemen deze laag Gaussian Frosting, omdat het lijkt op een laag glazuur op een taart. Hoe pluiziger het materiaal, hoe dikker de frosting. We introduceren ook een parameterisatie van de Gaussians om ervoor te zorgen dat ze binnen de frosting-laag blijven en hun parameters automatisch aanpassen bij het vervormen, herschalen, bewerken of animeren van de mesh. Onze representatie maakt efficiënte rendering mogelijk met behulp van Gaussian splatting, evenals bewerking en animatie door de basis-mesh aan te passen. We demonstreren de effectiviteit van onze methode op verschillende synthetische en echte scènes, en laten zien dat het beter presteert dan bestaande oppervlakte-gebaseerde benaderingen. We zullen onze code en een webgebaseerde viewer vrijgeven als aanvullende bijdragen. Onze projectpagina is de volgende: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/