BlenderGym: Бенчмаркинг систем базовых моделей для редактирования графики

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Авторы: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Аннотация

Редактирование 3D-графики играет ключевую роль в таких областях, как производство фильмов и разработка игр, однако этот процесс остается трудоемким и требует узкоспециализированных знаний. Автоматизация этого процесса является сложной задачей, поскольку графическое редактирование предполагает выполнение множества задач, каждая из которых требует уникальных навыков. В последнее время модели, объединяющие зрение и язык (Vision-Language Models, VLMs), стали мощным инструментом для автоматизации процесса редактирования, но их разработка и оценка ограничены отсутствием всеобъемлющего бенчмарка, который требовал бы человеческого уровня восприятия и представлял бы сложность реального редактирования. В данной работе мы представляем BlenderGym — первый всеобъемлющий бенчмарк для систем VLM, ориентированный на редактирование 3D-графики. BlenderGym оценивает системы VLM через задачи 3D-реконструкции на основе кода. Мы тестируем как закрытые, так и открытые системы VLM и наблюдаем, что даже передовые системы VLM испытывают трудности с задачами, которые относительно просты для опытных пользователей Blender. Благодаря BlenderGym мы изучаем, как методы масштабирования вывода влияют на производительность VLM в задачах графического редактирования. Примечательно, что наши результаты показывают, что верификатор, используемый для управления масштабированием генерации, сам может быть улучшен за счет масштабирования вывода, что дополняет недавние открытия в области масштабирования вывода генерации в задачах кодирования и математики. Мы также демонстрируем, что вычислительные ресурсы для вывода не одинаково эффективны и могут быть оптимизированы за счет стратегического распределения между генерацией и верификацией.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.