Gaussian Frosting: Campi di Radianza Complessi Modificabili con Rendering in Tempo Reale

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Autori: Antoine Guédon, Vincent Lepetit

cs.AI

Abstract

Proponiamo Gaussian Frosting, una nuova rappresentazione basata su mesh per il rendering di alta qualità e la modifica di effetti 3D complessi in tempo reale. Il nostro approccio si basa sul recente framework 3D Gaussian Splatting, che ottimizza un insieme di Gaussiane 3D per approssimare un campo di radianza a partire da immagini. Proponiamo innanzitutto di estrarre una mesh di base dalle Gaussiane durante l'ottimizzazione, per poi costruire e affinare uno strato adattivo di Gaussiane con spessore variabile attorno alla mesh, al fine di catturare meglio i dettagli fini e gli effetti volumetrici vicini alla superficie, come capelli o erba. Chiamiamo questo strato Gaussian Frosting, poiché ricorda una glassatura su una torta. Più il materiale è sfumato, più spessa è la glassatura. Introduciamo inoltre una parametrizzazione delle Gaussiane per imporre che rimangano all'interno dello strato di glassatura e per regolare automaticamente i loro parametri durante la deformazione, il ridimensionamento, la modifica o l'animazione della mesh. La nostra rappresentazione consente un rendering efficiente utilizzando il Gaussian splatting, nonché la modifica e l'animazione attraverso la manipolazione della mesh di base. Dimostriamo l'efficacia del nostro metodo su varie scene sintetiche e reali, mostrando che supera gli approcci esistenti basati su superficie. Rilasceremo il nostro codice e un visualizzatore web-based come contributi aggiuntivi. La pagina del nostro progetto è la seguente: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/