Переосвещаемые аватары на основе гауссовских кодеков

Аннотация

Точность переосвещения ограничена как геометрическими, так и визуальными представлениями. В случае геометрии, как сеточные, так и объемные подходы испытывают трудности с моделированием сложных структур, таких как трехмерная геометрия волос. Что касается визуализации, существующие модели переосвещения ограничены в точности и часто слишком медленны для рендеринга в реальном времени с высоким разрешением в непрерывных средах. В данной работе мы представляем метод "Переосвещаемые аватары на основе гауссовых кодеков", который позволяет создавать высокоточные переосвещаемые аватары головы, способные анимироваться для генерации новых выражений. Наша геометрическая модель, основанная на 3D-гауссовых функциях, способна захватывать трехмерно согласованные детали субмиллиметрового масштаба, такие как пряди волос и поры на динамических последовательностях лица. Для поддержки разнообразных материалов человеческой головы, таких как глаза, кожа и волосы, в единой манере, мы представляем новую модель переосвещаемого внешнего вида, основанную на обучаемом переносе излучения. В сочетании со сферическими гармониками, учитывающими глобальное освещение для диффузных компонентов, мы достигаем переосвещения в реальном времени с пространственно-частотными отражениями с использованием сферических гауссовых функций. Эта модель внешнего вида может эффективно переосвещаться как при точечном, так и при непрерывном освещении. Мы дополнительно повышаем точность отражений глаз и обеспечиваем явное управление взглядом, вводя переосвещаемые явные модели глаз. Наш метод превосходит существующие подходы без ущерба для производительности в реальном времени. Мы также демонстрируем переосвещение аватаров в реальном времени на потребительском VR-шлеме с кабельным подключением, что подчеркивает эффективность и точность наших аватаров.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.