AvatarArtist: Avatarização 4D de Domínio Aberto

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Autores: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Resumo

Este trabalho foca na avatarização 4D de domínio aberto, com o objetivo de criar um avatar 4D a partir de uma imagem de retrato em um estilo arbitrário. Selecionamos triplanos paramétricos como a representação 4D intermediária e propomos um paradigma de treinamento prático que aproveita tanto as redes generativas adversariais (GANs) quanto os modelos de difusão. Nosso design surge da observação de que GANs 4D são excelentes em conectar imagens e triplanos sem supervisão, mas geralmente enfrentam desafios ao lidar com distribuições de dados diversas. Um robusto prior de difusão 2D surge como a solução, auxiliando a GAN a transferir sua expertise através de vários domínios. A sinergia entre esses especialistas permite a construção de um conjunto de dados imagem-triplano multidomínio, que impulsiona o desenvolvimento de um criador de avatares 4D geral. Experimentos extensivos sugerem que nosso modelo, AvatarArtist, é capaz de produzir avatares 4D de alta qualidade com forte robustez a diversos domínios de imagem de origem. O código, os dados e os modelos serão disponibilizados publicamente para facilitar estudos futuros.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..