3D-GPT: Prozedurale 3D-Modellierung mit großen Sprachmodellen

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Autoren: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Zusammenfassung

Im Bestreben nach effizienter automatisierter Inhaltserstellung erweist sich die prozedurale Generierung, die modifizierbare Parameter und regelbasierte Systeme nutzt, als vielversprechender Ansatz. Dennoch kann dies eine anspruchsvolle Aufgabe sein, da ihre komplexe Natur ein tiefes Verständnis von Regeln, Algorithmen und Parametern erfordert. Um den Arbeitsaufwand zu verringern, stellen wir 3D-GPT vor, ein Framework, das große Sprachmodelle (LLMs) für instruktionsgesteuerte 3D-Modellierung nutzt. 3D-GPT positioniert LLMs als kompetente Problemlöser, die prozedurale 3D-Modellierungsaufgaben in zugängliche Segmente zerlegen und den geeigneten Agenten für jede Aufgabe bestimmen. 3D-GPT integriert drei Kernagenten: den Aufgabenverteilungsagenten, den Konzeptualisierungsagenten und den Modellierungsagenten. Sie arbeiten gemeinsam an zwei Zielen. Erstens verbessert es prägnante anfängliche Szenenbeschreibungen, entwickelt sie zu detaillierten Formen weiter und passt den Text dynamisch basierend auf nachfolgenden Anweisungen an. Zweitens integriert es prozedurale Generierung, extrahiert Parameterwerte aus angereichertem Text und ermöglicht so eine nahtlose Schnittstelle zu 3D-Software für die Erstellung von Assets. Unsere empirischen Untersuchungen bestätigen, dass 3D-GPT nicht nur Anweisungen interpretiert und ausführt, um zuverlässige Ergebnisse zu liefern, sondern auch effektiv mit menschlichen Designern zusammenarbeitet. Darüber hinaus integriert es sich nahtlos mit Blender und eröffnet erweiterte Manipulationsmöglichkeiten. Unsere Arbeit unterstreicht das Potenzial von LLMs in der 3D-Modellierung und bietet ein grundlegendes Framework für zukünftige Fortschritte in der Szenengenerierung und Animation.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.