3D-GPT : Modélisation 3D procédurale avec des modèles de langage de grande taille

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Auteurs: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Résumé

Dans la quête d'une création automatisée de contenu efficace, la génération procédurale, s'appuyant sur des paramètres modifiables et des systèmes basés sur des règles, apparaît comme une approche prometteuse. Néanmoins, cela peut s'avérer une entreprise exigeante, étant donné sa nature complexe qui nécessite une compréhension approfondie des règles, des algorithmes et des paramètres. Pour réduire la charge de travail, nous introduisons 3D-GPT, un cadre utilisant des modèles de langage de grande taille (LLMs) pour la modélisation 3D pilotée par instructions. 3D-GPT positionne les LLMs comme des résolveurs de problèmes compétents, décomposant les tâches de modélisation 3D procédurale en segments accessibles et désignant l'agent approprié pour chaque tâche. 3D-GPT intègre trois agents principaux : l'agent de répartition des tâches, l'agent de conceptualisation et l'agent de modélisation. Ils collaborent pour atteindre deux objectifs. Premièrement, il améliore les descriptions initiales concises des scènes, les faisant évoluer vers des formes détaillées tout en adaptant dynamiquement le texte en fonction des instructions ultérieures. Deuxièmement, il intègre la génération procédurale, extrayant les valeurs des paramètres du texte enrichi pour interfacer facilement avec les logiciels 3D pour la création d'assets. Nos investigations empiriques confirment que 3D-GPT interprète et exécute non seulement les instructions, fournissant des résultats fiables, mais collabore également efficacement avec les concepteurs humains. De plus, il s'intègre parfaitement à Blender, débloquant des possibilités de manipulation étendues. Notre travail met en lumière le potentiel des LLMs dans la modélisation 3D, offrant un cadre de base pour les avancées futures dans la génération de scènes et l'animation.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.