AvatarArtist: 오픈 도메인 4D 아바타 생성

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

저자: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

초록

본 연구는 오픈 도메인 4D 아바타 생성에 초점을 맞추며, 임의의 스타일로 된 초상화 이미지로부터 4D 아바타를 생성하는 것을 목표로 합니다. 우리는 중간 4D 표현으로 파라메트릭 트라이플레인을 선택하고, 생성적 적대 신경망(GAN)과 확산 모델의 장점을 모두 활용하는 실용적인 학습 패러다임을 제안합니다. 이 설계는 4D GAN이 지도 없이도 이미지와 트라이플레인을 연결하는 데 뛰어나지만, 다양한 데이터 분포를 처리하는 데 어려움을 겪는 관찰에서 출발했습니다. 강력한 2D 확산 사전 모델이 해결책으로 등장하여, GAN이 다양한 도메인 간에 전문성을 전이하는 데 도움을 줍니다. 이러한 전문가들 간의 시너지는 다중 도메인 이미지-트라이플레인 데이터셋 구축을 가능하게 하며, 이를 통해 일반적인 4D 아바타 생성기의 개발을 이끌어냅니다. 광범위한 실험 결과, 우리의 모델인 AvatarArtist는 다양한 소스 이미지 도메인에 대해 강력한 견고성을 보이며 고품질의 4D 아바타를 생성할 수 있음을 보여줍니다. 코드, 데이터 및 모델은 향후 연구를 촉진하기 위해 공개될 예정입니다.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..