AvatarArtist: オープンドメイン4Dアバター化

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

著者: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

要旨

本研究は、オープンドメインの4Dアバター化に焦点を当て、任意のスタイルの肖像画から4Dアバターを作成することを目的としています。中間的な4D表現としてパラメトリックなトライプレーンを選択し、生成敵対ネットワーク（GAN）と拡散モデルの両方の利点を活かした実用的なトレーニングパラダイムを提案します。この設計は、4D GANが教師なしで画像とトライプレーンを橋渡しするのに優れているものの、多様なデータ分布を扱う際に課題に直面することが多いという観察に基づいています。堅牢な2D拡散事前分布が解決策として現れ、GANがさまざまなドメイン間でその専門知識を移行するのを支援します。これらの専門家間の相乗効果により、マルチドメインの画像-トライプレーンデータセットの構築が可能となり、汎用的な4Dアバタークリエーターの開発が促進されます。広範な実験により、我々のモデルであるAvatarArtistが、さまざまなソース画像ドメインに対して強いロバスト性を持つ高品質な4Dアバターを生成できることが示唆されています。今後の研究を促進するため、コード、データ、およびモデルを公開する予定です。

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..