Make-A-Character: Generación de Personajes 3D de Alta Calidad a partir de Texto en Minutos

Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

December 24, 2023

Autores: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo

cs.AI

Resumen

Existe una demanda creciente de personajes 3D personalizados y expresivos con el surgimiento de agentes de IA y el Metaverso, pero la creación de personajes 3D utilizando herramientas tradicionales de gráficos por computadora es una tarea compleja y que consume mucho tiempo. Para abordar estos desafíos, proponemos un marco de trabajo fácil de usar llamado Make-A-Character (Mach) para crear avatares 3D realistas a partir de descripciones textuales. El marco aprovecha el poder de los grandes modelos de lenguaje y visión para la comprensión de intenciones textuales y la generación de imágenes intermedias, seguido de una serie de módulos de percepción visual orientados al ser humano y generación 3D. Nuestro sistema ofrece un enfoque intuitivo para que los usuarios creen personajes 3D controlables, realistas y completamente realizados que cumplan con sus expectativas en menos de 2 minutos, al mismo tiempo que permite una fácil integración con las tuberías de gráficos por computadora existentes para una expresividad dinámica. Para obtener más información, visite la página del proyecto en https://human3daigc.github.io/MACH/.

English

There is a growing demand for customized and expressive 3D characters with the emergence of AI agents and Metaverse, but creating 3D characters using traditional computer graphics tools is a complex and time-consuming task. To address these challenges, we propose a user-friendly framework named Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions. The framework leverages the power of large language and vision models for textual intention understanding and intermediate image generation, followed by a series of human-oriented visual perception and 3D generation modules. Our system offers an intuitive approach for users to craft controllable, realistic, fully-realized 3D characters that meet their expectations within 2 minutes, while also enabling easy integration with existing CG pipeline for dynamic expressiveness. For more information, please visit the project page at https://human3daigc.github.io/MACH/.