3D-GPT: Modelado 3D Procedural con Modelos de Lenguaje de Gran Escala

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Autores: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Resumen

En la búsqueda de una creación automatizada y eficiente de contenido, la generación procedural, que aprovecha parámetros modificables y sistemas basados en reglas, surge como un enfoque prometedor. Sin embargo, puede ser una tarea exigente, dada su naturaleza intrincada que requiere un profundo entendimiento de reglas, algoritmos y parámetros. Para reducir la carga de trabajo, presentamos 3D-GPT, un marco que utiliza modelos de lenguaje grandes (LLMs, por sus siglas en inglés) para el modelado 3D guiado por instrucciones. 3D-GPT posiciona a los LLMs como solucionadores de problemas competentes, desglosando las tareas de modelado 3D procedural en segmentos accesibles y asignando el agente adecuado para cada tarea. 3D-GPT integra tres agentes principales: el agente de despacho de tareas, el agente de conceptualización y el agente de modelado. Estos colaboran para lograr dos objetivos. Primero, mejora las descripciones iniciales concisas de las escenas, evolucionándolas hacia formas detalladas mientras adapta dinámicamente el texto basado en instrucciones posteriores. Segundo, integra la generación procedural, extrayendo valores de parámetros del texto enriquecido para interactuar sin esfuerzo con software 3D en la creación de activos. Nuestras investigaciones empíricas confirman que 3D-GPT no solo interpreta y ejecuta instrucciones, entregando resultados confiables, sino que también colabora efectivamente con diseñadores humanos. Además, se integra perfectamente con Blender, desbloqueando posibilidades expandidas de manipulación. Nuestro trabajo destaca el potencial de los LLMs en el modelado 3D, ofreciendo un marco básico para futuros avances en la generación de escenas y animación.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.