Gaussian Frosting : Champs de radiance complexes modifiables avec rendu en temps réel

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Auteurs: Antoine Guédon, Vincent Lepetit

cs.AI

Résumé

Nous proposons Gaussian Frosting, une nouvelle représentation basée sur des maillages pour le rendu de haute qualité et l'édition en temps réel d'effets 3D complexes. Notre approche s'appuie sur le récent cadre de 3D Gaussian Splatting, qui optimise un ensemble de Gaussiennes 3D pour approximer un champ de radiance à partir d'images. Nous proposons d'abord d'extraire un maillage de base à partir des Gaussiennes pendant l'optimisation, puis de construire et d'affiner une couche adaptative de Gaussiennes d'épaisseur variable autour du maillage pour mieux capturer les détails fins et les effets volumétriques près de la surface, tels que les cheveux ou l'herbe. Nous appelons cette couche Gaussian Frosting, car elle ressemble à un glaçage sur un gâteau. Plus le matériau est flou, plus le glaçage est épais. Nous introduisons également une paramétrisation des Gaussiennes pour les maintenir à l'intérieur de la couche de glaçage et ajuster automatiquement leurs paramètres lors de la déformation, du redimensionnement, de l'édition ou de l'animation du maillage. Notre représentation permet un rendu efficace grâce à la technique de splatting de Gaussiennes, ainsi que l'édition et l'animation en modifiant le maillage de base. Nous démontrons l'efficacité de notre méthode sur diverses scènes synthétiques et réelles, et montrons qu'elle surpasse les approches existantes basées sur les surfaces. Nous publierons notre code et un visualiseur web comme contributions supplémentaires. Notre page de projet est la suivante : https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/