Procedura: 절차적 제어를 통한 에이전트 기반 3D 모델링

초록

네이티브 3D 생성기는 이제 단일 이미지에서 인상적인 메시 지오메트리를 복원한다. 그러나 고밀도 메시는 가공된 물체가 날카로워야 할 부분에서 부드럽게 남아 있고, 부품 분해 정보를 포함하지 않으며, 사용자가 편집할 수 있는 매개변수도 제공하지 않는다. 이를 해결하기 위해 우리는 LLM의 코딩 능력을 활용하고 확장하여 3D 모델링을 수행하는 ‘형태를 코드로(shape as code)’ 패러다임을 탐구한다. 우리는 객체를 절차적 어셈블리, 즉 이름이 지정된 부품들이 유형화되고 기계적으로 검증 가능한 결합(mate)으로 연결된 매개변수화 프로그램으로 작성하는 새로운 3D 모델링 에이전트 프레임워크인 Procedura를 제안한다. 에이전트는 텍스트 프롬프트로부터 객체를 어셈블리 그래프로 계획하고 프로그램을 부품 단위로 작성한다. 이때 각 배치는 추측하지 않고 결합된 프레임(mated frame)으로부터 계산하여 해결하며, 컴파일, 결합, 연결성 검사를 모두 통과한 경우에만 부품을 채택한다. 이후 분리된 비전 비평가(critic)가 진단된 수정 사항을 하나씩 적용하여 어셈블리를 개선한다. 또한 동일한 그래프는 부품별 재질과 시뮬레이터로 검증된 관절(articulation) 정보를 담고 있다. 우리는 P3D-Bench의 어셈블리 평가자(judge)를 사용하여 평가하고, 동일한 평가자를 사용하여 자체 하드 서피스(hard-surface) 벤치마크인 MechBench-36에서도 평가한다. 두 벤치마크 모두에서 Procedura는 평가된 품질에 있어 최신 네이티브 3D 생성기와 이전의 모든 3D 코드 에이전트를 능가하며, 우리가 평가한 어떤 방법보다 날카로운 모서리를 생성하고, 출력이 편집 가능하고 부품 구조화된 프로그램인 유일한 방법이다.

English

Native 3D generators now recover impressive mesh geometry from a single image. However, a dense mesh stays soft where a machined object should be sharp, it carries no part decomposition, and it exposes no parameter a user could edit. To address this, we explore the paradigm of 3D shape as code, leveraging and scaling the coding ability of an LLM for 3D modeling. We introduce Procedura, a novel 3D modeling agent framework that writes an object as a procedural assembly, a parametric program whose named parts are joined by typed, machine-checkable mates. From a text prompt, the agent plans the object as an assembly graph and writes the program part by part, solving each placement from the mated frames rather than guessing it, and admitting a part only once compile, mate, and connectivity checks pass. A decoupled vision critic then refines the assembly one diagnosed fix at a time. Moreover, the same graph carries per-part materials and a simulator-validated articulation. We evaluate on P3D-Bench under its assembly judge, and with the same judge on MechBench-36, our hard-surface benchmark. On both, Procedura outperforms state-of-the-art native 3D generators and every prior 3D-code agent on judged quality, produces the sharpest edges of any method we evaluate, and is the only one whose output is an editable, part-structured program.