3D-GPT: 대규모 언어 모델을 활용한 절차적 3D 모델링

3D-GPT: Procedural 3D Modeling with Large Language Models

October 19, 2023

저자: Chunyi Sun, Junlin Han, Weijian Deng, Xinlong Wang, Zishan Qin, Stephen Gould

cs.AI

초록

효율적인 자동화 콘텐츠 생성을 추구함에 있어, 수정 가능한 매개변수와 규칙 기반 시스템을 활용한 절차적 생성은 유망한 접근 방식으로 부상하고 있습니다. 그러나 이는 규칙, 알고리즘, 매개변수에 대한 깊은 이해를 필요로 하는 복잡한 특성으로 인해 상당히 어려운 작업이 될 수 있습니다. 이러한 작업량을 줄이기 위해, 우리는 대규모 언어 모델(LLM)을 활용한 지시 기반 3D 모델링 프레임워크인 3D-GPT를 소개합니다. 3D-GPT는 LLM을 숙련된 문제 해결자로 위치시켜, 절차적 3D 모델링 작업을 접근 가능한 세그먼트로 분해하고 각 작업에 적합한 에이전트를 지정합니다. 3D-GPT는 작업 분배 에이전트, 개념화 에이전트, 모델링 에이전트라는 세 가지 핵심 에이전트를 통합합니다. 이들은 협력하여 두 가지 목표를 달성합니다. 첫째, 간결한 초기 장면 설명을 강화하여 상세한 형태로 발전시키고, 후속 지침에 따라 텍스트를 동적으로 조정합니다. 둘째, 절차적 생성을 통합하여 풍부한 텍스트에서 매개변수 값을 추출하고, 3D 소프트웨어와 원활하게 인터페이스하여 자산을 생성합니다. 우리의 실험적 연구는 3D-GPT가 지침을 해석하고 실행하여 신뢰할 수 있는 결과를 제공할 뿐만 아니라 인간 디자이너와 효과적으로 협력한다는 것을 확인했습니다. 또한, Blender와 원활하게 통합되어 확장된 조작 가능성을 제공합니다. 우리의 작업은 3D 모델링에서 LLM의 잠재력을 강조하며, 장면 생성 및 애니메이션 분야의 미래 발전을 위한 기본 프레임워크를 제공합니다.

English

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.