AvatarArtist: Open-Domain 4D-Avatarisierung

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Autoren: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Zusammenfassung

Diese Arbeit konzentriert sich auf die Open-Domain-4D-Avatarisierung mit dem Ziel, einen 4D-Avatar aus einem Porträtbild in einem beliebigen Stil zu erstellen. Wir wählen parametrische Triplanes als intermediäre 4D-Darstellung und schlagen ein praktisches Trainingsparadigma vor, das sowohl generative adversarial networks (GANs) als auch Diffusionsmodelle nutzt. Unser Ansatz basiert auf der Beobachtung, dass 4D-GANs zwar hervorragend darin sind, Bilder und Triplanes ohne Aufsicht zu verbinden, jedoch häufig Schwierigkeiten haben, diverse Datenverteilungen zu bewältigen. Ein robustes 2D-Diffusions-Prior erweist sich als Lösung, das der GAN dabei hilft, ihre Expertise über verschiedene Domänen hinweg zu übertragen. Die Synergie zwischen diesen Experten ermöglicht die Erstellung eines Multi-Domain-Bild-Triplane-Datensatzes, der die Entwicklung eines allgemeinen 4D-Avatar-Erstellers vorantreibt. Umfangreiche Experimente zeigen, dass unser Modell, AvatarArtist, in der Lage ist, hochwertige 4D-Avatare mit starker Robustheit gegenüber verschiedenen Quellbilddomänen zu erzeugen. Der Code, die Daten und die Modelle werden öffentlich zugänglich gemacht, um zukünftige Studien zu erleichtern.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..