BlenderAlchemy: ビジョン言語モデルを用いた3Dグラフィックスの編集

BlenderAlchemy: Editing 3D Graphics with Vision-Language Models

April 26, 2024

著者: Ian Huang, Guandao Yang, Leonidas Guibas

cs.AI

要旨

グラフィックデザインは、映画制作やゲームデザインなど、さまざまなアプリケーションにおいて重要です。高品質なシーンを作成するためには、デザイナーは通常、Blenderのようなソフトウェアで何時間も費やし、マテリアルノードを接続するなどの操作を何百回も繰り返す必要があります。さらに、わずかに異なるデザイン目標でも、全く異なる操作シーケンスが必要となるため、自動化が困難です。本論文では、GPT-4VのようなVision-Language Models（VLM）を活用し、ユーザーの意図を満たす答えに到達するためにデザインアクション空間をインテリジェントに探索するシステムを提案します。具体的には、視覚ベースの編集ジェネレータと状態評価器を設計し、目標を達成するための正しい操作シーケンスを見つけるために連携させます。人間のデザインプロセスにおける視覚的想像力の役割に着想を得て、VLMの視覚的推論能力を、画像生成モデルからの「想像された」参照画像で補完し、抽象的な言語記述を視覚的に根拠付けます。本論文では、テキストや参照画像からのプロシージャルマテリアルの編集や、複雑なシーンでの製品レンダリングの照明設定の調整などのタスクに対して、私たちのシステムが単純だが煩雑なBlender編集シーケンスを生成できることを示す実証的な証拠を提供します。

English

Graphics design is important for various applications, including movie production and game design. To create a high-quality scene, designers usually need to spend hours in software like Blender, in which they might need to interleave and repeat operations, such as connecting material nodes, hundreds of times. Moreover, slightly different design goals may require completely different sequences, making automation difficult. In this paper, we propose a system that leverages Vision-Language Models (VLMs), like GPT-4V, to intelligently search the design action space to arrive at an answer that can satisfy a user's intent. Specifically, we design a vision-based edit generator and state evaluator to work together to find the correct sequence of actions to achieve the goal. Inspired by the role of visual imagination in the human design process, we supplement the visual reasoning capabilities of VLMs with "imagined" reference images from image-generation models, providing visual grounding of abstract language descriptions. In this paper, we provide empirical evidence suggesting our system can produce simple but tedious Blender editing sequences for tasks such as editing procedural materials from text and/or reference images, as well as adjusting lighting configurations for product renderings in complex scenes.