Gaussian Frosting: Campos de Radiação Complexos Editáveis com Renderização em Tempo Real

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Autores: Antoine Guédon, Vincent Lepetit

cs.AI

Resumo

Propomos o Gaussian Frosting, uma nova representação baseada em malha para renderização de alta qualidade e edição de efeitos 3D complexos em tempo real. Nossa abordagem se baseia no recente framework 3D Gaussian Splatting, que otimiza um conjunto de Gaussianas 3D para aproximar um campo de radiação a partir de imagens. Propomos primeiro extrair uma malha base das Gaussianas durante a otimização, em seguida, construir e refinar uma camada adaptativa de Gaussianas com espessura variável ao redor da malha para capturar melhor os detalhes finos e efeitos volumétricos próximos à superfície, como cabelo ou grama. Chamamos essa camada de Gaussian Frosting, pois se assemelha a uma cobertura de glacê em um bolo. Quanto mais difuso o material, mais espesso o glacê. Também introduzimos uma parametrização das Gaussianas para garantir que permaneçam dentro da camada de glacê e ajustar automaticamente seus parâmetros ao deformar, redimensionar, editar ou animar a malha. Nossa representação permite renderização eficiente usando Gaussian splatting, bem como edição e animação através da modificação da malha base. Demonstramos a eficácia do nosso método em várias cenas sintéticas e reais, e mostramos que ele supera as abordagens baseadas em superfície existentes. Disponibilizaremos nosso código e um visualizador baseado na web como contribuições adicionais. Nossa página do projeto é a seguinte: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/