BlenderGym: Evaluación de Sistemas de Modelos Fundamentales para la Edición Gráfica

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Autores: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Resumen

La edición de gráficos 3D es crucial en aplicaciones como la producción de películas y el diseño de videojuegos, pero sigue siendo un proceso que consume mucho tiempo y requiere un conocimiento altamente especializado en el dominio. Automatizar este proceso es un desafío porque la edición gráfica implica realizar una variedad de tareas, cada una de las cuales requiere habilidades distintas. Recientemente, los modelos de visión y lenguaje (VLMs, por sus siglas en inglés) han surgido como un marco poderoso para automatizar el proceso de edición, pero su desarrollo y evaluación se ven limitados por la falta de un punto de referencia integral que exija una percepción a nivel humano y presente la complejidad de la edición en el mundo real. En este trabajo, presentamos BlenderGym, el primer punto de referencia integral para sistemas VLM en la edición de gráficos 3D. BlenderGym evalúa los sistemas VLM a través de tareas de reconstrucción 3D basadas en código. Evaluamos sistemas VLM tanto de código cerrado como abierto y observamos que incluso el sistema VLM más avanzado tiene dificultades con tareas relativamente fáciles para usuarios humanos de Blender. Habilitados por BlenderGym, estudiamos cómo las técnicas de escalado de inferencia impactan el rendimiento de los VLM en tareas de edición gráfica. Notablemente, nuestros hallazgos revelan que el verificador utilizado para guiar el escalado de la generación puede mejorarse a través del escalado de inferencia, complementando insights recientes sobre el escalado de inferencia en la generación de LLM en tareas de codificación y matemáticas. Además, demostramos que el cómputo de inferencia no es uniformemente efectivo y puede optimizarse distribuyéndolo estratégicamente entre la generación y la verificación.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.