Make-A-Character: Высококачественная генерация 3D-персонажей из текста за считанные минуты

Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

December 24, 2023

Авторы: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo

cs.AI

Аннотация

С ростом популярности ИИ-агентов и метавселенной возрастает спрос на персонализированных и выразительных 3D-персонажей. Однако создание таких персонажей с использованием традиционных инструментов компьютерной графики остается сложной и трудоемкой задачей. Для решения этих проблем мы предлагаем удобный фреймворк под названием Make-A-Character (Mach), который позволяет создавать реалистичные 3D-аватары на основе текстовых описаний. Фреймворк использует возможности крупных языковых и визуальных моделей для понимания текстовых намерений и генерации промежуточных изображений, а затем применяет серию модулей, ориентированных на визуальное восприятие и 3D-генерацию, адаптированных для человека. Наша система предлагает интуитивно понятный подход, позволяющий пользователям создавать управляемых, реалистичных и полноценных 3D-персонажей, соответствующих их ожиданиям, всего за 2 минуты, а также обеспечивает легкую интеграцию с существующими CG-пайплайнами для динамической выразительности. Для получения дополнительной информации посетите страницу проекта по адресу https://human3daigc.github.io/MACH/.

English

There is a growing demand for customized and expressive 3D characters with the emergence of AI agents and Metaverse, but creating 3D characters using traditional computer graphics tools is a complex and time-consuming task. To address these challenges, we propose a user-friendly framework named Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions. The framework leverages the power of large language and vision models for textual intention understanding and intermediate image generation, followed by a series of human-oriented visual perception and 3D generation modules. Our system offers an intuitive approach for users to craft controllable, realistic, fully-realized 3D characters that meet their expectations within 2 minutes, while also enabling easy integration with existing CG pipeline for dynamic expressiveness. For more information, please visit the project page at https://human3daigc.github.io/MACH/.