Make-A-Character: Hochwertige Text-zu-3D-Charaktergenerierung in wenigen Minuten
Make-A-Character: High Quality Text-to-3D Character Generation within Minutes
December 24, 2023
Autoren: Jianqiang Ren, Chao He, Lin Liu, Jiahao Chen, Yutong Wang, Yafei Song, Jianfang Li, Tangli Xue, Siqi Hu, Tao Chen, Kunkun Zheng, Jianjing Xiang, Liefeng Bo
cs.AI
Zusammenfassung
Es besteht eine wachsende Nachfrage nach maßgeschneiderten und ausdrucksstarken 3D-Charakteren mit dem Aufkommen von KI-Agenten und dem Metaverse. Die Erstellung von 3D-Charakteren mit traditionellen Computergrafik-Tools ist jedoch eine komplexe und zeitaufwändige Aufgabe. Um diese Herausforderungen zu bewältigen, schlagen wir ein benutzerfreundliches Framework namens Make-A-Character (Mach) vor, das lebensechte 3D-Avatare aus Textbeschreibungen erstellt. Das Framework nutzt die Leistungsfähigkeit großer Sprach- und Bildmodelle für das Verständnis textueller Absichten und die Erzeugung von Zwischenbildern, gefolgt von einer Reihe von visuellen Wahrnehmungs- und 3D-Generierungsmodulen, die auf den Menschen ausgerichtet sind. Unser System bietet einen intuitiven Ansatz, mit dem Benutzer innerhalb von 2 Minuten kontrollierbare, realistische und vollständig realisierte 3D-Charaktere erstellen können, die ihren Erwartungen entsprechen, und ermöglicht gleichzeitig eine einfache Integration in bestehende CG-Pipelines für dynamische Ausdrucksfähigkeit. Weitere Informationen finden Sie auf der Projektseite unter https://human3daigc.github.io/MACH/.
English
There is a growing demand for customized and expressive 3D characters with
the emergence of AI agents and Metaverse, but creating 3D characters using
traditional computer graphics tools is a complex and time-consuming task. To
address these challenges, we propose a user-friendly framework named
Make-A-Character (Mach) to create lifelike 3D avatars from text descriptions.
The framework leverages the power of large language and vision models for
textual intention understanding and intermediate image generation, followed by
a series of human-oriented visual perception and 3D generation modules. Our
system offers an intuitive approach for users to craft controllable, realistic,
fully-realized 3D characters that meet their expectations within 2 minutes,
while also enabling easy integration with existing CG pipeline for dynamic
expressiveness. For more information, please visit the project page at
https://human3daigc.github.io/MACH/.