FitMe: Фотореалистичные 3D-морфуемые модели аватаров на основе глубокого обучения

FitMe: Deep Photorealistic 3D Morphable Model Avatars

May 16, 2023

Авторы: Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Baris Gecer, Jiankang Deng, Stefanos Zafeiriou

cs.AI

Аннотация

В данной статье мы представляем FitMe — модель лицевой отражательной способности и дифференцируемый конвейер оптимизации рендеринга, который может использоваться для создания высококачественных визуализируемых аватаров человека на основе одного или нескольких изображений. Модель включает в себя мультимодальный генератор на основе стилей, который фиксирует внешний вид лица с точки зрения диффузной и зеркальной отражательной способности, а также PCA-модель формы. Мы используем быстрый дифференцируемый процесс рендеринга, который может быть интегрирован в конвейер оптимизации, одновременно достигая фотореалистичного затенения лица. Наш процесс оптимизации точно воспроизводит как отражательную способность, так и форму лица с высокой детализацией, используя выразительность латентного представления на основе стилей и нашей модели формы. FitMe демонстрирует передовые результаты в области захвата отражательной способности и сохранения идентичности на основе одного "реального" изображения лица, а также создает впечатляющие результаты, близкие к сканированию, при обработке нескольких несвязанных изображений лица одного и того же человека. В отличие от современных методов реконструкции аватаров на основе неявных представлений, FitMe требует всего одну минуту и создает переосвещаемые аватары на основе сетки и текстур, которые могут быть использованы в конечных приложениях.

English

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single "in-the-wild" facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.