AvatarArtist : Avatarisation 4D en domaine ouvert

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Auteurs: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Résumé

Ce travail se concentre sur l'avatarisation 4D en domaine ouvert, dans le but de créer un avatar 4D à partir d'une image portrait dans un style arbitraire. Nous choisissons les triplans paramétriques comme représentation intermédiaire 4D et proposons un paradigme d'entraînement pratique qui tire parti à la fois des réseaux antagonistes génératifs (GAN) et des modèles de diffusion. Notre conception découle de l'observation que les GAN 4D excellent à relier les images et les triplans sans supervision, mais rencontrent généralement des difficultés à gérer des distributions de données diverses. Un prior robuste de diffusion 2D apparaît comme la solution, aidant le GAN à transférer son expertise à travers divers domaines. La synergie entre ces experts permet la construction d'un ensemble de données image-triplan multi-domaines, qui alimente le développement d'un créateur d'avatars 4D général. Des expériences approfondies suggèrent que notre modèle, AvatarArtist, est capable de produire des avatars 4D de haute qualité avec une forte robustesse face à divers domaines d'images sources. Le code, les données et les modèles seront rendus publics pour faciliter les études futures.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..