Gaussian Frosting: Campos de Radiancia Complejos Editables con Renderizado en Tiempo Real

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Autores: Antoine Guédon, Vincent Lepetit

cs.AI

Resumen

Proponemos Gaussian Frosting, una novedosa representación basada en mallas para la renderización de alta calidad y la edición de efectos 3D complejos en tiempo real. Nuestro enfoque se basa en el reciente marco de 3D Gaussian Splatting, que optimiza un conjunto de gaussianas 3D para aproximar un campo de radiancia a partir de imágenes. Proponemos primero extraer una malla base de las gaussianas durante la optimización, luego construir y refinar una capa adaptativa de gaussianas con un grosor variable alrededor de la malla para capturar mejor los detalles finos y los efectos volumétricos cerca de la superficie, como cabello o hierba. Llamamos a esta capa Gaussian Frosting, ya que se asemeja a una cobertura de glaseado sobre un pastel. Cuanto más difuso sea el material, más grueso será el glaseado. También introducimos una parametrización de las gaussianas para asegurar que permanezcan dentro de la capa de glaseado y ajustar automáticamente sus parámetros al deformar, escalar, editar o animar la malla. Nuestra representación permite una renderización eficiente mediante Gaussian Splatting, así como la edición y animación mediante la modificación de la malla base. Demostramos la efectividad de nuestro método en varias escenas sintéticas y reales, y mostramos que supera a los enfoques basados en superficie existentes. Liberaremos nuestro código y un visor basado en web como contribuciones adicionales. Nuestra página del proyecto es la siguiente: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/