BlenderGym: Benchmarking van Fundamentele Modelsystemen voor Grafische Bewerking

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Auteurs: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Samenvatting

3D-grafische bewerking is cruciaal in toepassingen zoals filmproductie en gamedesign, maar blijft een tijdrovend proces dat hooggespecialiseerde domeinkennis vereist. Het automatiseren van dit proces is uitdagend omdat grafische bewerking een verscheidenheid aan taken vereist, elk met een eigen set vaardigheden. Recentelijk zijn vision-language models (VLMs) naar voren gekomen als een krachtig raamwerk voor het automatiseren van het bewerkingsproces, maar hun ontwikkeling en evaluatie worden belemmerd door het ontbreken van een uitgebreide benchmark die menselijk niveau van perceptie vereist en real-world bewerkingscomplexiteit presenteert. In dit werk introduceren we BlenderGym, de eerste uitgebreide VLM-systeembenchmark voor 3D-grafische bewerking. BlenderGym evalueert VLM-systemen via code-gebaseerde 3D-reconstructietaken. We evalueren zowel gesloten als open-source VLM-systemen en observeren dat zelfs het state-of-the-art VLM-systeem moeite heeft met taken die relatief eenvoudig zijn voor menselijke Blender-gebruikers. Dankzij BlenderGym bestuderen we hoe inferentie-schaaltechnieken de prestaties van VLM's op grafische bewerkingstaken beïnvloeden. Opmerkelijk is dat onze bevindingen aantonen dat de verifier die wordt gebruikt om de schaling van generatie te begeleiden, zelf kan worden verbeterd door inferentie-schaling, wat recente inzichten over inferentie-schaling van LLM-generatie bij coderings- en rekentaken aanvult. We tonen verder aan dat inferentie-rekenkracht niet uniform effectief is en geoptimaliseerd kan worden door deze strategisch te verdelen tussen generatie en verificatie.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.