Персонализированные 3D генеративные аватары из одного портрета

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Авторы: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Аннотация

Мы представляем PERSE, метод для создания анимируемого персонализированного генеративного аватара из портрета-образца. Наша модель аватара позволяет редактировать лицевые атрибуты в непрерывном и разделенном латентном пространстве для контроля каждого лицевого атрибута, сохраняя при этом индивидуальную идентичность. Для достижения этой цели наш метод начинает с синтеза масштабных синтетических 2D видеоданных, где каждое видео содержит последовательные изменения в выражении лица и точке зрения, в сочетании с вариацией определенного лицевого атрибута из оригинального ввода. Мы предлагаем новый конвейер для создания высококачественных, фотореалистичных 2D видео с редактированием лицевых атрибутов. Используя этот синтетический набор данных атрибутов, мы представляем метод создания персонализированного аватара на основе 3D Гауссовского сплетения, обучая непрерывное и разделенное латентное пространство для интуитивного управления лицевыми атрибутами. Для обеспечения плавных переходов в этом латентном пространстве мы вводим технику регуляризации латентного пространства, используя интерполированные 2D лица в качестве надзора. По сравнению с предыдущими подходами, мы демонстрируем, что PERSE генерирует аватары высокого качества с интерполированными атрибутами, сохраняя идентичность образца-оригинала.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.