aDSL: 에이전트-프로그램 공동 설계를 통한 에이전트 기반 3D 생성

초록

프로그래매틱 표현은 3D 콘텐츠 생성의 강력한 패러다임을 제공하며, 세밀한 편집, 해석 가능성, 명시적 구조 제어를 가능하게 한다. 그러나 대규모 언어 모델(LLM)에 의존하여 3D 프로그램을 작성하는 에이전트 워크플로는 여전히 취약하며, 높은 수준의 의도를 일관된 저수준 기하 구조로 변환하는 데 종종 실패한다. 우리는 이러한 취약성이 기존 프로그래매틱 인터페이스와 LLM의 추론 강점 간의 불일치에서 비롯된 것으로 본다. LLM은 취약한 수치 선택보다 의미 구조와 공간 관계를 선호한다. 본 논문에서는 이러한 격차를 해소하기 위해 에이전트 중심 도메인 특화 언어(aDSL)와 역할 전문화 다중 에이전트 시스템을 공동 설계한다. aDSL은 조합성(composability)과 공간 추론을 강조하여 의미 논리와 기하 제약을 연결하며, 에이전트가 취약한 절대 좌표 대신 관계 연산자를 통해 지오메트리를 조작할 수 있게 한다. aDSL을 기반으로 하는 우리의 학습 없는 다중 에이전트 시스템은 Plan-Execute-Critic 루프를 따라 요청을 분해하고, 코드를 합성하며, 실행 피드백을 사용하여 오류와 제약 위반을 반복적으로 수정한다. 실험 결과, 이러한 공동 설계는 강건성, 제어 가능성, 사용자 의도 충실성을 향상시킨다. 우리의 방법은 텍스트-형상 및 이미지-형상 작업에서 기존 LLM 기반 기준선을 능가하면서 명시적 구조, 편집 가능성, 해석 가능성을 유지한다. 또한 관절 객체 생성 및 구조화된 장면 구성과 같은 다운스트림 응용을 가능하게 한다. 코드는 https://github.com/sig-pku/aDSL에서 확인할 수 있다.

English

Programmatic representations provide a compelling paradigm for 3D content creation, enabling fine-grained edits, interpretability, and explicit structural control. Yet, agentic workflows that rely on large language models (LLMs) to author 3D programs remain brittle, often failing to translate high-level intent into consistent low-level geometry. We attribute this fragility to a mismatch between existing programmatic interfaces and the reasoning strengths of LLMs, which favor semantic structure and spatial relations over fragile numeric choices. In this paper, we jointly design an Agent-centric Domain-Specific Language (aDSL) and a role-specialized multi-agent system to close this gap. aDSL bridges semantic logic and geometric constraints by emphasizing composability and spatial reasoning; it enables agents to manipulate geometry through relational operators instead of brittle absolute coordinates. Building on aDSL, our training-free multi-agent system follows a Plan-Execute-Critic loop to decompose requests, synthesize code, and iteratively repair errors and constraint violations using execution feedback. Experiments show that this co-design improves robustness, controllability, and faithfulness to user intent. Our method outperforms prior LLM-based baselines on text-to-shape and image-to-shape tasks while preserving explicit structure, editability, and interpretability. It also enables downstream applications such as articulated object creation and structured scene composition. Our code is available at https://github.com/sig-pku/aDSL.