3DCodeBench: コードによるエージェント型プロシージャル3Dモデリングのベンチマーク

要旨

コードによる手続き型3Dモデリングは、決定論的でエンジン対応、かつ精密に編集可能なアセットを提供する、ニューラル3Dジェネレーターが本質的に欠く特徴を持つ多用途なパラダイムとして台頭している。しかし、そのような手続き型コンテンツの作成には、3DソフトウェアAPI、パラメトリックデザイン、およびコードレベルの幾何学的推論に関する深い専門知識が必要である。本論文では、3Dモデリングソフトウェアにおける手続き型3D生成のための視覚言語モデル（VLM）エージェントを評価する体系的なベンチマークである3DCodeBenchを提案する。具体的には、3DCodeBenchは、テキストや画像の参照を3Dモデリングソフトウェアの手続き型コードに変換することで、12の先進的なVLMが手続き型3Dモデラーとしてどの程度効果的に機能するかを評価する。自動評価指標では3D形状の知覚品質を完全には捉えきれない可能性を認識し、生成された3D出力に対するペアごとの人間の嗜好に基づくランキングプラットフォームである3DCodeArenaを構築した。広範な評価と結果から、以下の観察結果が得られた。(1) 失敗の大部分はAPIの不一致に起因し、レンダリングが成功した場合でも、3Dの幾何学的構成要素が分断または浮遊している問題が依然として見られる。(2) テスト時におけるスケーリング、例えばより高い思考予算やマルチターンによる改良は、全体的な性能を向上させる。これらの発見は、商用VLMを高度化するために、高品質な手続き型コーディングデータが緊急に必要であることを示している。さらに、効果的な手続き型3Dモデリングには、反復的な改良のための高忠実度フィードバックを提供する堅牢な実行環境が必要である。我々は、厳選された大規模マルチモーダル（テキスト/画像）プロンプトデータセット、手続き型コード、3Dオブジェクトトリプレット、評価プロトコル、および公開プラットフォーム3DCodeArenaを含む3DCodeBenchを、VLMに基づく手続き型3Dモデラーを探求するための基礎ツールキットとして公開する。

English

Procedural 3D modeling through code is emerging as a versatile paradigm, offering deterministic, engine-ready, and precisely editable assets that neural 3D generators inherently lack. Authoring such procedural content, however, demands deep expertise in 3D software APIs, parametric design, and code-level geometric reasoning. In this paper, we propose 3DCodeBench, a systematic benchmark for evaluating vision-language model (VLM) agents for procedural 3D generation in 3D modeling software. Specifically, 3DCodeBench evaluates how effectively 12 advanced VLMs can serve as procedural 3D modelers by translating text and image references into procedural code for 3D modeling software. Recognizing that automated metrics may not fully capture the perceptual quality of 3D shapes, we build 3DCodeArena, a ranking platform based on pairwise human preferences over generated 3D outputs. From extensive evaluations and results, we observe that: (1) Failures mostly arise from API mismatches, while successful renders still suffer from disconnected or floating 3D geometric components. (2) Test-time scaling, such as higher thinking budgets and multi-turn refinement, improves performance overall. Our findings highlight a critical need for high-quality procedural coding data to advance commercial VLMs. Furthermore, effective procedural 3D modeling requires a robust execution environment that provides high-fidelity feedback for iterative refinement. We release 3DCodeBench, including the curated large-scale dataset of multimodal (text/image) prompts, procedural code, 3D object triplets, evaluation protocol, and the public 3DCodeArena platform as a foundational toolkit for exploring VLM-based procedural 3D modelers.