aDSL: エージェントとプログラムの統合設計によるエージェンティック3D生成

要旨

プログラム的表現は、3Dコンテンツ生成の有力なパラダイムであり、細粒度の編集、解釈可能性、明示的な構造制御を可能にする。しかし、大規模言語モデル（LLM）を用いて3Dプログラムを作成するエージェント的ワークフローは依然として脆弱であり、高レベルの意図を一貫した低レベルの幾何形状へと変換できないことが多い。我々は、この脆弱性は、既存のプログラム的インターフェースとLLMの推論の強みとの間の不整合に起因すると考える。LLMの推論は、脆弱な数値選択よりも意味構造と空間関係を重視するからである。本論文では、このギャップを埋めるために、エージェント中心のドメイン特化言語（aDSL）と役割特化型マルチエージェントシステムを共同設計する。aDSLは、合成可能性と空間推論を重視することにより、意味論的論理と幾何学的制約を橋渡しし、エージェントが脆弱な絶対座標ではなく関係演算子を通じて幾何形状を操作することを可能にする。aDSLに基づき、我々の学習不要のマルチエージェントシステムは、Plan-Execute-Criticループに従って、要求の分解、コードの合成、実行フィードバックを用いたエラーと制約違反の反復的修復を行う。実験の結果、この共同設計が堅牢性、制御可能性、ユーザーの意図への忠実性を向上させることが示された。本手法は、テキストから形状、画像から形状へのタスクにおいて、既存のLLMベースのベースラインを上回り、明示的な構造、編集可能性、解釈可能性を維持する。さらに、関節オブジェクトの生成や構造化シーン構成などの下流アプリケーションも可能にする。我々のコードはhttps://github.com/sig-pku/aDSLで公開されている。

English

Programmatic representations provide a compelling paradigm for 3D content creation, enabling fine-grained edits, interpretability, and explicit structural control. Yet, agentic workflows that rely on large language models (LLMs) to author 3D programs remain brittle, often failing to translate high-level intent into consistent low-level geometry. We attribute this fragility to a mismatch between existing programmatic interfaces and the reasoning strengths of LLMs, which favor semantic structure and spatial relations over fragile numeric choices. In this paper, we jointly design an Agent-centric Domain-Specific Language (aDSL) and a role-specialized multi-agent system to close this gap. aDSL bridges semantic logic and geometric constraints by emphasizing composability and spatial reasoning; it enables agents to manipulate geometry through relational operators instead of brittle absolute coordinates. Building on aDSL, our training-free multi-agent system follows a Plan-Execute-Critic loop to decompose requests, synthesize code, and iteratively repair errors and constraint violations using execution feedback. Experiments show that this co-design improves robustness, controllability, and faithfulness to user intent. Our method outperforms prior LLM-based baselines on text-to-shape and image-to-shape tasks while preserving explicit structure, editability, and interpretability. It also enables downstream applications such as articulated object creation and structured scene composition. Our code is available at https://github.com/sig-pku/aDSL.