AvatarVerse：テキストとポーズからの高品質で安定した3Dアバター生成
AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose
August 7, 2023
著者: Huichao Zhang, Bowen Chen, Hao Yang, Liao Qu, Xu Wang, Li Chen, Chao Long, Feida Zhu, Kang Du, Min Zheng
cs.AI
要旨
高度にカスタマイズされたテキスト記述とポーズガイダンスから、表現力豊かで多様性に富み、高品質な3Dアバターを作成することは、詳細と様々なスタイル（リアル、フィクションなど）を保証する3Dモデリングとテクスチャリングの複雑さから、困難な課題です。本論文では、テキスト記述とポーズガイダンスのみから表現力豊かな高品質3Dアバターを生成する安定したパイプラインであるAvatarVerseを提案します。具体的には、DensePose信号に基づく2D拡散モデルを導入し、2D画像を通じてアバターの3Dポーズ制御を確立することで、部分的に観測されたシナリオからの視点一貫性を向上させます。これにより、有名なJanus問題に対処し、生成プロセスを大幅に安定化します。さらに、プログレッシブな高解像度3D合成戦略を提案し、作成された3Dアバターの品質を大幅に向上させます。これにより、提案されたAvatarVerseパイプラインは、従来の研究よりも表現力豊かで、高品質かつ高忠実度の3Dアバターのゼロショット3Dモデリングを実現します。厳密な定性的評価とユーザスタディは、AvatarVerseが高忠実度3Dアバターの合成において優位性を持つことを示し、高品質で安定した3Dアバター作成の新たな基準を確立します。プロジェクトページはこちらです: https://avatarverse3d.github.io
English
Creating expressive, diverse and high-quality 3D avatars from highly
customized text descriptions and pose guidance is a challenging task, due to
the intricacy of modeling and texturing in 3D that ensure details and various
styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline
for generating expressive high-quality 3D avatars from nothing but text
descriptions and pose guidance. In specific, we introduce a 2D diffusion model
conditioned on DensePose signal to establish 3D pose control of avatars through
2D images, which enhances view consistency from partially observed scenarios.
It addresses the infamous Janus Problem and significantly stablizes the
generation process. Moreover, we propose a progressive high-resolution 3D
synthesis strategy, which obtains substantial improvement over the quality of
the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves
zero-shot 3D modeling of 3D avatars that are not only more expressive, but also
in higher quality and fidelity than previous works. Rigorous qualitative
evaluations and user studies showcase AvatarVerse's superiority in synthesizing
high-fidelity 3D avatars, leading to a new standard in high-quality and stable
3D avatar creation. Our project page is: https://avatarverse3d.github.io