Одношаговые неявные морфируемые лица с согласованной параметризацией текстур

Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization

May 4, 2023

Авторы: Connor Z. Lin, Koki Nagano, Jan Kautz, Eric R. Chan, Umar Iqbal, Leonidas Guibas, Gordon Wetzstein, Sameh Khamis

cs.AI

Аннотация

Растет спрос на доступное создание высококачественных 3D-аватаров, которые можно анимировать и настраивать. Хотя 3D-морфуемые модели обеспечивают интуитивное управление для редактирования и анимации, а также устойчивость при реконструкции лица по одному изображению, они с трудом захватывают геометрические и визуальные детали. Методы, основанные на нейронных неявных представлениях, таких как функции знакового расстояния (SDF) или нейронные поля излучения, приближаются к фотореализму, но их сложно анимировать, и они плохо обобщаются на новые данные. Чтобы решить эту проблему, мы предлагаем новый метод построения неявных 3D-морфуемых моделей лиц, которые одновременно обобщаемы и интуитивно понятны для редактирования. Обучаясь на наборе высококачественных 3D-сканов, наша модель лица параметризуется латентными кодами геометрии, выражения и текстуры с использованием обученной SDF и явной параметризации UV-текстуры. После обучения мы можем реконструировать аватар по одному изображению "в дикой природе", используя обученный априор для проекции изображения в латентное пространство нашей модели. Наши неявные морфуемые модели лиц позволяют визуализировать аватар с новых ракурсов, анимировать выражения лица путем изменения кодов выражений и редактировать текстуры, напрямую рисуя на обученных UV-текстурных картах. Мы демонстрируем количественно и качественно, что наш метод превосходит современные подходы по фотореализму, точности геометрии и выражений.

English

There is a growing demand for the accessible creation of high-quality 3D avatars that are animatable and customizable. Although 3D morphable models provide intuitive control for editing and animation, and robustness for single-view face reconstruction, they cannot easily capture geometric and appearance details. Methods based on neural implicit representations, such as signed distance functions (SDF) or neural radiance fields, approach photo-realism, but are difficult to animate and do not generalize well to unseen data. To tackle this problem, we propose a novel method for constructing implicit 3D morphable face models that are both generalizable and intuitive for editing. Trained from a collection of high-quality 3D scans, our face model is parameterized by geometry, expression, and texture latent codes with a learned SDF and explicit UV texture parameterization. Once trained, we can reconstruct an avatar from a single in-the-wild image by leveraging the learned prior to project the image into the latent space of our model. Our implicit morphable face models can be used to render an avatar from novel views, animate facial expressions by modifying expression codes, and edit textures by directly painting on the learned UV-texture maps. We demonstrate quantitatively and qualitatively that our method improves upon photo-realism, geometry, and expression accuracy compared to state-of-the-art methods.