AvatarArtist: Creación de Avatares 4D de Dominio Abierto

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Autores: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Resumen

Este trabajo se centra en la avatarización 4D de dominio abierto, con el objetivo de crear un avatar 4D a partir de una imagen de retrato en un estilo arbitrario. Seleccionamos triplanos paramétricos como la representación intermedia 4D y proponemos un paradigma de entrenamiento práctico que aprovecha tanto las redes generativas adversarias (GANs) como los modelos de difusión. Nuestro diseño surge de la observación de que las GANs 4D sobresalen en conectar imágenes y triplanos sin supervisión, pero suelen enfrentar desafíos al manejar distribuciones de datos diversas. Un robusto prior de difusión 2D emerge como la solución, ayudando a la GAN a transferir su experiencia a través de diversos dominios. La sinergia entre estos expertos permite la construcción de un conjunto de datos de imágenes-triplanos multidominio, lo que impulsa el desarrollo de un creador de avatares 4D general. Experimentos exhaustivos sugieren que nuestro modelo, AvatarArtist, es capaz de producir avatares 4D de alta calidad con una fuerte robustez frente a diversos dominios de imágenes fuente. El código, los datos y los modelos se pondrán a disposición del público para facilitar estudios futuros.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..