Make-A-Character：高品質なテキストから3Dキャラクターを数分で生成する技術

要旨

AIエージェントやメタバースの登場により、カスタマイズされた表現力豊かな3Dキャラクターへの需要が高まっていますが、従来のコンピュータグラフィックスツールを用いた3Dキャラクター制作は複雑で時間を要する作業です。これらの課題に対処するため、我々はテキスト記述から写実的な3Dアバターを生成するユーザーフレンドリーなフレームワーク「Make-A-Character（Mach）」を提案します。本フレームワークは、大規模言語モデルと視覚モデルを活用してテキスト意図の理解と中間画像生成を行い、続いて人間指向の視覚知覚モジュールと3D生成モジュールを組み合わせます。本システムは、ユーザーが期待通りの制御可能で現実的、かつ完全な3Dキャラクターを2分以内に直感的に作成できる手法を提供するとともに、既存のCGパイプラインとの容易な連携により動的な表現力を実現します。詳細はプロジェクトページ（https://human3daigc.github.io/MACH/）をご覧ください。

English

There is a growing demand for customized and expressive 3D characters with the emergence of AI agents and Metaverse, but creating 3D characters using traditional computer graphics tools is a complex and time-consuming task. To address these challenges, we propose a user-friendly framework named Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions. The framework leverages the power of large language and vision models for textual intention understanding and intermediate image generation, followed by a series of human-oriented visual perception and 3D generation modules. Our system offers an intuitive approach for users to craft controllable, realistic, fully-realized 3D characters that meet their expectations within 2 minutes, while also enabling easy integration with existing CG pipeline for dynamic expressiveness. For more information, please visit the project page at https://human3daigc.github.io/MACH/.

Make-A-Character：高品質なテキストから3Dキャラクターを数分で生成する技術

Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

要旨

Support