Гауссовское оформление: редактируемые комплексные поля излучения с моментальной визуализацией.

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

Авторы: Antoine Guédon, Vincent Lepetit

cs.AI

Аннотация

Мы предлагаем метод Gaussian Frosting, новое сеточное представление для высококачественного визуализирования и редактирования сложных 3D-эффектов в реальном времени. Наш подход основан на недавнем каркасном методе 3D Gaussian Splatting, который оптимизирует набор 3D-гауссиан для приближенного воссоздания поля радиации изображений. Мы предлагаем сначала извлечение базовой сетки из гауссиан во время оптимизации, затем создание и улучшение адаптивного слоя гауссиан с переменной толщиной вокруг сетки для более точного воспроизведения мелких деталей и объемных эффектов у поверхности, таких как волосы или трава. Мы называем этот слой Gaussian Frosting, так как он напоминает покрытие торта глазурью. Чем более размытый материал, тем толще глазурь. Мы также представляем параметризацию гауссиан для их ограничения в пределах слоя глазури и автоматической настройки их параметров при деформации, масштабировании, редактировании или анимации сетки. Наше представление позволяет эффективно визуализировать с использованием Gaussian Splatting, а также редактировать и анимировать путем изменения базовой сетки. Мы демонстрируем эффективность нашего метода на различных синтетических и реальных сценах и показываем, что он превосходит существующие подходы на основе поверхности. Мы планируем выпустить наш код и веб-просмотрщик в качестве дополнительных вкладов. Наша страница проекта доступна по следующему адресу: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/