3D-GPT: 大規模言語モデルを用いたプロシージャル3Dモデリング

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

著者: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

要旨

効率的な自動コンテンツ作成を追求する中で、変更可能なパラメータとルールベースのシステムを活用したプロシージャル生成は、有望なアプローチとして浮上しています。しかしながら、その複雑な性質から、ルール、アルゴリズム、パラメータに対する深い理解を必要とするため、多大な労力を要する可能性があります。作業負荷を軽減するため、我々は大規模言語モデル（LLMs）を活用した指示駆動型3Dモデリングのフレームワークである3D-GPTを提案します。3D-GPTは、LLMsを熟練した問題解決者として位置づけ、プロシージャル3Dモデリングタスクをアクセス可能なセグメントに分解し、各タスクに適したエージェントを任命します。3D-GPTは、タスクディスパッチエージェント、コンセプト化エージェント、モデリングエージェントという3つのコアエージェントを統合しています。これらは協力して2つの目的を達成します。まず、簡潔な初期シーン記述を強化し、詳細な形式に進化させるとともに、後続の指示に基づいてテキストを動的に適応させます。次に、プロシージャル生成を統合し、強化されたテキストからパラメータ値を抽出して、3Dソフトウェアとシームレスに連携し、アセット作成を行います。我々の実証研究により、3D-GPTが指示を解釈し実行して信頼性の高い結果を提供するだけでなく、人間のデザイナーと効果的に協力することが確認されました。さらに、Blenderとシームレスに統合し、拡張された操作の可能性を解き放ちます。我々の研究は、3DモデリングにおけるLLMsの可能性を強調し、シーン生成とアニメーションの将来の進展に向けた基本的なフレームワークを提供します。

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.