3D-GPT: Procedurele 3D-modellering met grote taalmodellen

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Auteurs: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Samenvatting

In de zoektocht naar efficiënte geautomatiseerde contentcreatie komt procedurele generatie, die gebruikmaakt van aanpasbare parameters en regelgebaseerde systemen, naar voren als een veelbelovende aanpak. Desalniettemin kan dit een veeleisende onderneming zijn, gezien de complexe aard ervan die een diepgaand begrip van regels, algoritmen en parameters vereist. Om de werkdruk te verminderen, introduceren we 3D-GPT, een raamwerk dat grote taalmodelen (LLMs) gebruikt voor instructiegestuurde 3D-modellering. 3D-GPT positioneert LLMs als bekwame probleemoplossers, die de procedurele 3D-modellerings taken opdelen in toegankelijke segmenten en de meest geschikte agent aanwijzen voor elke taak. 3D-GPT integreert drie kernagenten: de taakdispatchagent, de conceptualisatieagent en de modelleringsagent. Zij werken samen om twee doelstellingen te bereiken. Ten eerste verbetert het beknopte initiële scènebeschrijvingen, ontwikkelt deze tot gedetailleerde vormen en past de tekst dynamisch aan op basis van vervolginstructies. Ten tweede integreert het procedurele generatie, waarbij parameterwaarden worden geëxtraheerd uit verrijkte tekst om moeiteloos te kunnen samenwerken met 3D-software voor het creëren van assets. Onze empirische onderzoeken bevestigen dat 3D-GPT niet alleen instructies interpreteert en uitvoert, wat betrouwbare resultaten oplevert, maar ook effectief samenwerkt met menselijke ontwerpers. Bovendien integreert het naadloos met Blender, wat uitgebreide manipulatiemogelijkheden ontsluit. Ons werk benadrukt het potentieel van LLMs in 3D-modellering en biedt een basisraamwerk voor toekomstige vooruitgang in scènegeneratie en animatie.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.