BlenderGym：グラフィックス編集のための基盤モデルシステムのベンチマーキング

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

著者: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

要旨

3Dグラフィックス編集は、映画制作やゲームデザインなどのアプリケーションにおいて重要な役割を果たすが、依然として時間を要するプロセスであり、高度に専門的なドメイン知識を必要とする。このプロセスを自動化することは困難である。なぜなら、グラフィカル編集は多様なタスクを実行する必要があり、それぞれが異なるスキルセットを要求するからだ。最近、ビジョン・ランゲージモデル（VLM）が編集プロセスを自動化するための強力なフレームワークとして登場したが、その開発と評価は、人間レベルの知覚を必要とし、現実世界の編集の複雑さを提示する包括的なベンチマークの欠如によってボトルネックとなっている。本研究では、3Dグラフィックス編集のための最初の包括的なVLMシステムベンチマークであるBlenderGymを提案する。BlenderGymは、コードベースの3D再構成タスクを通じてVLMシステムを評価する。クローズドソースおよびオープンソースのVLMシステムを評価し、最先端のVLMシステムでさえ、人間のBlenderユーザーにとって比較的容易なタスクに苦戦することを観察した。BlenderGymを活用して、推論スケーリング技術がグラフィックス編集タスクにおけるVLMの性能にどのように影響するかを研究する。特に、生成のスケーリングを導くために使用される検証器自体が、推論スケーリングを通じて改善できることが明らかになり、コーディングや数学タスクにおけるLLM生成の推論スケーリングに関する最近の知見を補完する。さらに、推論計算が一律に効果的ではなく、生成と検証の間に戦略的に分散することで最適化できることを示す。

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.