3DCodeBench : Évaluation comparative de la modélisation 3D procédurale agentique par code

Résumé

La modélisation 3D procédurale par code s'impose comme un paradigme polyvalent, offrant des actifs déterministes, prêts pour le moteur et précisément modifiables, que les générateurs neuronaux 3D ne possèdent pas intrinsèquement. La création de tels contenus procéduraux nécessite toutefois une expertise approfondie des API logicielles 3D, de la conception paramétrique et du raisonnement géométrique au niveau du code. Dans cet article, nous proposons 3DCodeBench, un référentiel systématique pour évaluer des agents de modèles vision-langage (VLM) pour la génération 3D procédurale dans un logiciel de modélisation 3D. Plus précisément, 3DCodeBench évalue l'efficacité avec laquelle 12 VLM avancés peuvent servir de modélisateurs 3D procéduraux en traduisant des références textuelles et imagées en code procédural pour un logiciel de modélisation 3D. Reconnaissant que les métriques automatisées peuvent ne pas capturer pleinement la qualité perceptuelle des formes 3D, nous construisons 3DCodeArena, une plateforme de classement basée sur les préférences humaines par paires sur les sorties 3D générées. À partir d'évaluations et de résultats approfondis, nous observons que : (1) Les échecs proviennent principalement de discordances d'API, tandis que les rendus réussis souffrent encore de composants géométriques 3D déconnectés ou flottants. (2) La mise à l'échelle au moment du test, comme des budgets de réflexion plus élevés et un affinage multi-tours, améliore les performances globales. Nos résultats soulignent un besoin critique de données de codage procédural de haute qualité pour faire progresser les VLM commerciaux. De plus, une modélisation 3D procédurale efficace nécessite un environnement d'exécution robuste qui fournisse un retour haute fidélité pour un affinage itératif. Nous publions 3DCodeBench, incluant l'ensemble de données à grande échelle et organisé d'invites multimodales (texte/image), de code procédural, de triplets d'objets 3D, le protocole d'évaluation, et la plateforme publique 3DCodeArena comme kit d'outils fondamental pour explorer les modélisateurs 3D procéduraux basés sur VLM.

English

Procedural 3D modeling through code is emerging as a versatile paradigm, offering deterministic, engine-ready, and precisely editable assets that neural 3D generators inherently lack. Authoring such procedural content, however, demands deep expertise in 3D software APIs, parametric design, and code-level geometric reasoning. In this paper, we propose 3DCodeBench, a systematic benchmark for evaluating vision-language model (VLM) agents for procedural 3D generation in 3D modeling software. Specifically, 3DCodeBench evaluates how effectively 12 advanced VLMs can serve as procedural 3D modelers by translating text and image references into procedural code for 3D modeling software. Recognizing that automated metrics may not fully capture the perceptual quality of 3D shapes, we build 3DCodeArena, a ranking platform based on pairwise human preferences over generated 3D outputs. From extensive evaluations and results, we observe that: (1) Failures mostly arise from API mismatches, while successful renders still suffer from disconnected or floating 3D geometric components. (2) Test-time scaling, such as higher thinking budgets and multi-turn refinement, improves performance overall. Our findings highlight a critical need for high-quality procedural coding data to advance commercial VLMs. Furthermore, effective procedural 3D modeling requires a robust execution environment that provides high-fidelity feedback for iterative refinement. We release 3DCodeBench, including the curated large-scale dataset of multimodal (text/image) prompts, procedural code, 3D object triplets, evaluation protocol, and the public 3DCodeArena platform as a foundational toolkit for exploring VLM-based procedural 3D modelers.