BlenderGym: Benchmarking von Fundamentalen Modellsystemen für die Grafikbearbeitung

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Autoren: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Zusammenfassung

Die Bearbeitung von 3D-Grafiken ist in Anwendungen wie der Filmproduktion und dem Spieldesign von entscheidender Bedeutung, bleibt jedoch ein zeitaufwändiger Prozess, der hochspezialisierte Fachkenntnisse erfordert. Die Automatisierung dieses Prozesses ist herausfordernd, da die grafische Bearbeitung eine Vielzahl von Aufgaben umfasst, die jeweils unterschiedliche Fähigkeiten erfordern. In jüngster Zeit haben Vision-Language-Modelle (VLMs) als leistungsstarkes Framework für die Automatisierung des Bearbeitungsprozesses an Bedeutung gewonnen, doch ihre Entwicklung und Bewertung werden durch das Fehlen eines umfassenden Benchmarks behindert, der menschliches Wahrnehmungsvermögen erfordert und die Komplexität der Bearbeitung in der realen Welt widerspiegelt. In dieser Arbeit präsentieren wir BlenderGym, den ersten umfassenden VLM-System-Benchmark für die Bearbeitung von 3D-Grafiken. BlenderGym bewertet VLM-Systeme anhand von codebasierten 3D-Rekonstruktionsaufgaben. Wir evaluieren proprietäre und Open-Source-VLM-Systeme und stellen fest, dass selbst das modernste VLM-System mit Aufgaben zu kämpfen hat, die für menschliche Blender-Nutzer relativ einfach sind. Durch BlenderGym ermöglicht, untersuchen wir, wie Inferenz-Skalierungstechniken die Leistung von VLMs bei Grafikbearbeitungsaufgaben beeinflussen. Bemerkenswerterweise zeigen unsere Ergebnisse, dass der Verifizierer, der zur Steuerung der Skalierung der Generierung verwendet wird, selbst durch Inferenz-Skalierung verbessert werden kann, was aktuelle Erkenntnisse zur Inferenz-Skalierung der LLM-Generierung bei Codierungs- und Mathematikaufgaben ergänzt. Wir zeigen weiterhin, dass Inferenz-Rechenleistung nicht gleichmäßig effektiv ist und durch eine strategische Verteilung zwischen Generierung und Verifizierung optimiert werden kann.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.