3DCodeBench: Оценка агентного процедурного 3D-моделирования посредством кода

Аннотация

Процедурное 3D-моделирование с помощью кода становится универсальной парадигмой, обеспечивая детерминированные, готовые к использованию в движке и точно редактируемые активы, которых по своей сути лишены нейросетевые 3D-генераторы. Однако создание такого процедурного контента требует глубоких знаний API программ для 3D-моделирования, параметрического проектирования и геометрических рассуждений на уровне кода. В данной статье мы предлагаем 3DCodeBench — систематический бенчмарк для оценки агентов на основе моделей зрения и языка (VLM) при процедурной 3D-генерации в средах 3D-моделирования. В частности, 3DCodeBench оценивает, насколько эффективно 12 современных VLM могут выступать в роли процедурных 3D-модельеров, преобразуя текстовые и графические референсы в процедурный код для программ 3D-моделирования. Признавая, что автоматические метрики могут не полностью отражать перцептивное качество 3D-форм, мы создали 3DCodeArena — платформу ранжирования на основе попарных предпочтений людей по отношению к сгенерированным 3D-результатам. По итогам обширных оценок и анализа мы выявили следующее: (1) Сбои в основном возникают из-за несоответствия API, при этом даже успешно рендеренные объекты страдают от разрозненных или плавающих 3D-геометрических компонентов. (2) Масштабирование во время тестирования, такое как увеличение бюджета на обдумывание и многоэтапное уточнение, в целом повышает производительность. Наши выводы подчёркивают критическую необходимость в высококачественных данных процедурного кодирования для совершенствования коммерческих VLM. Кроме того, эффективное процедурное 3D-моделирование требует надёжной среды выполнения, обеспечивающей высокоточную обратную связь для итеративного уточнения. Мы публикуем 3DCodeBench, включающий курируемый крупномасштабный набор мультимодальных (текст/изображение) промптов, процедурного кода, триплетов 3D-объектов, протокол оценки, а также общедоступную платформу 3DCodeArena в качестве фундаментального набора инструментов для исследования процедурных 3D-модельеров на основе VLM.

English

Procedural 3D modeling through code is emerging as a versatile paradigm, offering deterministic, engine-ready, and precisely editable assets that neural 3D generators inherently lack. Authoring such procedural content, however, demands deep expertise in 3D software APIs, parametric design, and code-level geometric reasoning. In this paper, we propose 3DCodeBench, a systematic benchmark for evaluating vision-language model (VLM) agents for procedural 3D generation in 3D modeling software. Specifically, 3DCodeBench evaluates how effectively 12 advanced VLMs can serve as procedural 3D modelers by translating text and image references into procedural code for 3D modeling software. Recognizing that automated metrics may not fully capture the perceptual quality of 3D shapes, we build 3DCodeArena, a ranking platform based on pairwise human preferences over generated 3D outputs. From extensive evaluations and results, we observe that: (1) Failures mostly arise from API mismatches, while successful renders still suffer from disconnected or floating 3D geometric components. (2) Test-time scaling, such as higher thinking budgets and multi-turn refinement, improves performance overall. Our findings highlight a critical need for high-quality procedural coding data to advance commercial VLMs. Furthermore, effective procedural 3D modeling requires a robust execution environment that provides high-fidelity feedback for iterative refinement. We release 3DCodeBench, including the curated large-scale dataset of multimodal (text/image) prompts, procedural code, 3D object triplets, evaluation protocol, and the public 3DCodeArena platform as a foundational toolkit for exploring VLM-based procedural 3D modelers.