Make-A-Character:高品質なテキストから3Dキャラクターを数分で生成
Make-A-Character: High Quality Text-to-3D Character Generation within Minutes
December 24, 2023
著者: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo
cs.AI
要旨
AIエージェントやメタバースの台頭に伴い、カスタマイズ性が高く表現力豊かな3Dキャラクターへの需要が高まっています。しかし、従来のコンピュータグラフィックスツールを使用して3Dキャラクターを作成するのは複雑で時間のかかる作業です。これらの課題に対処するため、私たちはテキスト記述からリアルな3Dアバターを作成するためのユーザーフレンドリーなフレームワーク「Make-A-Character(Mach)」を提案します。このフレームワークは、大規模言語モデルと視覚モデルの力を活用してテキストの意図を理解し、中間画像を生成し、その後、人間指向の視覚知覚と3D生成モジュールを一連で適用します。私たちのシステムは、ユーザーが期待に応える制御可能でリアルな完全な3Dキャラクターを2分以内に直感的に作成できるアプローチを提供し、既存のCGパイプラインとの容易な統合を可能にすることで動的な表現力を実現します。詳細については、プロジェクトページ(https://human3daigc.github.io/MACH/)をご覧ください。
English
There is a growing demand for customized and expressive 3D characters with
the emergence of AI agents and Metaverse, but creating 3D characters using
traditional computer graphics tools is a complex and time-consuming task. To
address these challenges, we propose a user-friendly framework named
Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions.
The framework leverages the power of large language and vision models for
textual intention understanding and intermediate image generation, followed by
a series of human-oriented visual perception and 3D generation modules. Our
system offers an intuitive approach for users to craft controllable, realistic,
fully-realized 3D characters that meet their expectations within 2 minutes,
while also enabling easy integration with existing CG pipeline for dynamic
expressiveness. For more information, please visit the project page at
https://human3daigc.github.io/MACH/.