3D-GPT: Modellazione 3D Procedurale con Modelli Linguistici di Grandi Dimensioni

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Autori: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Abstract

Nella ricerca di una creazione automatizzata ed efficiente di contenuti, la generazione procedurale, che sfrutta parametri modificabili e sistemi basati su regole, si presenta come un approccio promettente. Tuttavia, può rivelarsi un'impresa impegnativa, data la sua natura complessa che richiede una profonda comprensione di regole, algoritmi e parametri. Per ridurre il carico di lavoro, introduciamo 3D-GPT, un framework che utilizza modelli linguistici di grandi dimensioni (LLM) per la modellazione 3D guidata da istruzioni. 3D-GPT posiziona gli LLM come risolutori di problemi esperti, suddividendo i compiti di modellazione 3D procedurale in segmenti accessibili e assegnando l'agente più adatto per ciascun compito. 3D-GPT integra tre agenti principali: l'agente di dispacciamento dei compiti, l'agente di concettualizzazione e l'agente di modellazione. Collaborano per raggiungere due obiettivi. In primo luogo, migliora le descrizioni iniziali concise delle scene, evolvendole in forme dettagliate e adattando dinamicamente il testo in base alle istruzioni successive. In secondo luogo, integra la generazione procedurale, estraendo i valori dei parametri dal testo arricchito per interfacciarsi agevolmente con il software 3D per la creazione di asset. Le nostre indagini empiriche confermano che 3D-GPT non solo interpreta ed esegue le istruzioni, fornendo risultati affidabili, ma collabora anche efficacemente con i progettisti umani. Inoltre, si integra perfettamente con Blender, sbloccando possibilità di manipolazione ampliate. Il nostro lavoro evidenzia il potenziale degli LLM nella modellazione 3D, offrendo un framework di base per futuri progressi nella generazione di scene e animazioni.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.