AvatarArtist: Открытая платформа для 4D-аватаризации

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Авторы: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Аннотация

Данная работа посвящена созданию открытых 4D-аватаров, целью которой является генерация 4D-аватара из портретного изображения в произвольном стиле. Мы выбираем параметрические триплейны в качестве промежуточного 4D-представления и предлагаем практическую парадигму обучения, которая использует преимущества как генеративно-состязательных сетей (GAN), так и диффузионных моделей. Наш подход основан на наблюдении, что 4D-GAN эффективно связывают изображения и триплейны без обучения с учителем, но обычно сталкиваются с трудностями при обработке разнородных распределений данных. Решением становится использование устойчивого 2D-диффузионного априори, который помогает GAN переносить свои знания в различные домены. Синергия между этими подходами позволяет создать мультидоменный набор данных "изображение-триплейн", что способствует разработке универсального генератора 4D-аватаров. Многочисленные эксперименты показывают, что наша модель, AvatarArtist, способна создавать высококачественные 4D-аватары с высокой устойчивостью к различным доменам исходных изображений. Код, данные и модели будут опубликованы в открытом доступе для содействия будущим исследованиям.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..