BlenderGym : Évaluation des systèmes de modèles fondamentaux pour l'édition graphique

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Auteurs: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Résumé

L'édition graphique 3D est cruciale dans des applications telles que la production de films et la conception de jeux, mais elle reste un processus chronophage qui exige une expertise hautement spécialisée. Automatiser ce processus est complexe, car l'édition graphique nécessite l'exécution de diverses tâches, chacune requérant des compétences distinctes. Récemment, les modèles vision-langage (VLMs) sont apparus comme un cadre puissant pour automatiser le processus d'édition, mais leur développement et leur évaluation sont freinés par l'absence d'un benchmark complet exigeant une perception de niveau humain et présentant une complexité d'édition réaliste. Dans ce travail, nous présentons BlenderGym, le premier benchmark complet de système VLM pour l'édition graphique 3D. BlenderGym évalue les systèmes VLM à travers des tâches de reconstruction 3D basées sur du code. Nous évaluons des systèmes VLM propriétaires et open source et observons que même le système VLM le plus avancé peine à accomplir des tâches relativement simples pour les utilisateurs humains de Blender. Grâce à BlenderGym, nous étudions comment les techniques de mise à l'échelle de l'inférence impactent les performances des VLMs sur les tâches d'édition graphique. Notamment, nos résultats révèlent que le vérificateur utilisé pour guider la mise à l'échelle de la génération peut lui-même être amélioré par la mise à l'échelle de l'inférence, complétant les récentes découvertes sur la mise à l'échelle de l'inférence dans la génération de LLM pour les tâches de codage et de mathématiques. Nous montrons en outre que le calcul d'inférence n'est pas uniformément efficace et peut être optimisé en le répartissant stratégiquement entre la génération et la vérification.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.