3D-GPT: Процедурное 3D-моделирование с использованием больших языковых моделей

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

Авторы: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

Аннотация

В стремлении к эффективному автоматизированному созданию контента процедурная генерация, использующая изменяемые параметры и системы на основе правил, представляется многообещающим подходом. Однако это может быть сложной задачей, учитывая её сложную природу, требующую глубокого понимания правил, алгоритмов и параметров. Для снижения нагрузки мы представляем 3D-GPT — фреймворк, использующий большие языковые модели (LLM) для создания 3D-моделей на основе инструкций. 3D-GPT позиционирует LLM как эффективных решателей задач, разбивая процедурные задачи 3D-моделирования на доступные этапы и назначая подходящего агента для каждой задачи. 3D-GPT объединяет три ключевых агента: агент распределения задач, агент концептуализации и агент моделирования. Они совместно достигают двух целей. Во-первых, улучшают краткие начальные описания сцен, развивая их в детализированные формы, динамически адаптируя текст на основе последующих инструкций. Во-вторых, интегрируют процедурную генерацию, извлекая значения параметров из обогащённого текста для беспрепятственного взаимодействия с 3D-программами для создания ассетов. Наши эмпирические исследования подтверждают, что 3D-GPT не только интерпретирует и выполняет инструкции, предоставляя надёжные результаты, но и эффективно сотрудничает с человеческими дизайнерами. Кроме того, он легко интегрируется с Blender, открывая расширенные возможности манипуляции. Наша работа подчеркивает потенциал LLM в 3D-моделировании, предлагая базовый фреймворк для будущих достижений в генерации сцен и анимации.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.