Make-A-Character : Génération de personnages 3D de haute qualité à partir de texte en quelques minutes

Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

December 24, 2023

Auteurs: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo

cs.AI

Résumé

La demande croissante pour des personnages 3D personnalisés et expressifs, stimulée par l'émergence des agents IA et du Métavers, se heurte à la complexité et à la lourdeur des outils traditionnels de graphisme informatique. Pour relever ces défis, nous proposons un cadre convivial nommé Make-A-Character (Mach), permettant de créer des avatars 3D réalistes à partir de descriptions textuelles. Ce framework exploite la puissance des grands modèles de langage et de vision pour la compréhension des intentions textuelles et la génération d'images intermédiaires, suivis d'une série de modules de perception visuelle et de génération 3D centrés sur l'humain. Notre système offre une approche intuitive permettant aux utilisateurs de concevoir des personnages 3D contrôlables, réalistes et entièrement aboutis en moins de 2 minutes, tout en facilitant leur intégration dans les pipelines CG existants pour une expressivité dynamique. Pour plus d'informations, visitez la page du projet à l'adresse suivante : https://human3daigc.github.io/MACH/.

English

There is a growing demand for customized and expressive 3D characters with the emergence of AI agents and Metaverse, but creating 3D characters using traditional computer graphics tools is a complex and time-consuming task. To address these challenges, we propose a user-friendly framework named Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions. The framework leverages the power of large language and vision models for textual intention understanding and intermediate image generation, followed by a series of human-oriented visual perception and 3D generation modules. Our system offers an intuitive approach for users to craft controllable, realistic, fully-realized 3D characters that meet their expectations within 2 minutes, while also enabling easy integration with existing CG pipeline for dynamic expressiveness. For more information, please visit the project page at https://human3daigc.github.io/MACH/.