AvatarArtist: Open-Domein 4D Avatarisatie

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Auteurs: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Samenvatting

Dit werk richt zich op open-domein 4D-avatarisatie, met als doel het creëren van een 4D-avatar vanuit een portretafbeelding in een willekeurige stijl. We kiezen voor parametrische triplanes als de tussenliggende 4D-representatie en stellen een praktisch trainingsparadigma voor dat gebruikmaakt van zowel generatieve adversariële netwerken (GANs) als diffusiemodellen. Ons ontwerp is gebaseerd op de observatie dat 4D-GANs uitblinken in het overbruggen van afbeeldingen en triplanes zonder supervisie, maar meestal moeite hebben met het omgaan met diverse dataverdelingen. Een robuuste 2D-diffusieprior komt naar voren als de oplossing, die de GAN ondersteunt bij het overdragen van zijn expertise over verschillende domeinen. De synergie tussen deze experts maakt de constructie van een multi-domein beeld-triplane-dataset mogelijk, wat de ontwikkeling van een algemene 4D-avatarcreator stimuleert. Uitgebreide experimenten suggereren dat ons model, AvatarArtist, in staat is om hoogwaardige 4D-avatars te produceren met een sterke robuustheid ten opzichte van verschillende bronbeelddomeinen. De code, de data en de modellen zullen openbaar worden gemaakt om toekomstige studies te faciliteren.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..