HeadGAP: 3D-аватар головы с небольшим количеством обучающих примеров на основе обобщаемых гауссовых априорных данных

HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

August 12, 2024

Авторы: Xiaozheng Zheng, Chao Wen, Zhaohu Li, Weiyi Zhang, Zhuo Su, Xu Chang, Yang Zhao, Zheng Lv, Xiaoyuan Zhang, Yongjie Zhang, Guidong Wang, Lan Xu

cs.AI

Аннотация

В данной статье мы представляем новый подход к созданию трехмерного аватара головы, способного обобщать данные из небольшого количества снимков в естественных условиях с высокой степенью реалистичности и анимируемой устойчивостью. Учитывая недоопределенность данной проблемы, важно внедрить предварительные знания. Поэтому мы предлагаем структуру, включающую этапы предварительного обучения и создания аватара. Этап предварительного обучения использует трехмерные предпосылки головы, полученные из масштабного набора данных динамических многозрительных изображений, а этап создания аватара применяет эти предпосылки для персонализации по небольшому количеству снимков. Наш подход эффективно улавливает эти предпосылки, используя сеть автокодировщика на основе гауссовского сплэттинга с моделированием динамики на основе частей. Наш метод использует кодирование с общей идентичностью с персонализированными латентными кодами для отдельных личностей для изучения атрибутов гауссовских примитивов. Во время этапа создания аватара мы достигаем быстрой персонализации головного аватара, используя стратегии инверсии и доводки. Обширные эксперименты показывают, что наша модель эффективно использует предпосылки головы и успешно обобщает их для персонализации по небольшому количеству снимков, достигая фотореалистичного качества рендеринга, согласованности многозрительных изображений и стабильной анимации.

English

In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.