Make-A-Character: Geração de Personagens 3D de Alta Qualidade a partir de Texto em Minutos

Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

December 24, 2023

Autores: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo

cs.AI

Resumo

Há uma demanda crescente por personagens 3D personalizados e expressivos com o surgimento de agentes de IA e do Metaverso, mas a criação de personagens 3D usando ferramentas tradicionais de computação gráfica é uma tarefa complexa e demorada. Para enfrentar esses desafios, propomos uma estrutura amigável ao usuário chamada Make-A-Character (Mach) para criar avatares 3D realistas a partir de descrições textuais. A estrutura aproveita o poder de grandes modelos de linguagem e visão para a compreensão da intenção textual e geração de imagens intermediárias, seguida por uma série de módulos de percepção visual orientada ao humano e geração 3D. Nosso sistema oferece uma abordagem intuitiva para os usuários criarem personagens 3D controláveis, realistas e totalmente realizados que atendam às suas expectativas em até 2 minutos, além de permitir uma fácil integração com o pipeline de CG existente para expressividade dinâmica. Para mais informações, visite a página do projeto em https://human3daigc.github.io/MACH/.

English

There is a growing demand for customized and expressive 3D characters with the emergence of AI agents and Metaverse, but creating 3D characters using traditional computer graphics tools is a complex and time-consuming task. To address these challenges, we propose a user-friendly framework named Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions. The framework leverages the power of large language and vision models for textual intention understanding and intermediate image generation, followed by a series of human-oriented visual perception and 3D generation modules. Our system offers an intuitive approach for users to craft controllable, realistic, fully-realized 3D characters that meet their expectations within 2 minutes, while also enabling easy integration with existing CG pipeline for dynamic expressiveness. For more information, please visit the project page at https://human3daigc.github.io/MACH/.