BlenderAlchemy: Bearbeitung von 3D-Grafiken mit Vision-Sprach-Modellen

BlenderAlchemy: Editing 3D Graphics with Vision-Language Models

April 26, 2024

Autoren: Ian Huang, Guandao Yang, Leonidas Guibas

cs.AI

Zusammenfassung

Grafikdesign ist wichtig für verschiedene Anwendungen, einschließlich Filmproduktion und Spieldesign. Um eine qualitativ hochwertige Szene zu erstellen, müssen Designer in der Regel Stunden in Software wie Blender verbringen, in der sie möglicherweise Operationen wie das Verbinden von Materialknoten hunderte Male ineinander verschachteln und wiederholen müssen. Darüber hinaus können leicht unterschiedliche Designziele völlig unterschiedliche Sequenzen erfordern, was die Automatisierung erschwert. In diesem Papier schlagen wir ein System vor, das Vision-Language-Modelle (VLMs) wie GPT-4V nutzt, um intelligent den Design-Aktionsraum zu durchsuchen und zu einer Lösung zu gelangen, die die Absicht eines Benutzers erfüllen kann. Konkret entwerfen wir einen visionbasierten Edit-Generator und einen Zustandsbewerter, die zusammenarbeiten, um die richtige Sequenz von Aktionen zur Erreichung des Ziels zu finden. Inspiriert von der Rolle der visuellen Vorstellungskraft im menschlichen Designprozess ergänzen wir die visuellen Denkfähigkeiten von VLMs mit "imaginären" Referenzbildern aus Bildgenerierungsmodellen, um eine visuelle Verankerung abstrakter Sprachbeschreibungen zu bieten. In diesem Papier liefern wir empirische Beweise, die nahelegen, dass unser System einfache, aber mühsame Blender-Bearbeitungssequenzen für Aufgaben wie die Bearbeitung prozeduraler Materialien aus Text und/oder Referenzbildern sowie die Anpassung von Beleuchtungskonfigurationen für Produktrenderings in komplexen Szenen erstellen kann.

English

Graphics design is important for various applications, including movie production and game design. To create a high-quality scene, designers usually need to spend hours in software like Blender, in which they might need to interleave and repeat operations, such as connecting material nodes, hundreds of times. Moreover, slightly different design goals may require completely different sequences, making automation difficult. In this paper, we propose a system that leverages Vision-Language Models (VLMs), like GPT-4V, to intelligently search the design action space to arrive at an answer that can satisfy a user's intent. Specifically, we design a vision-based edit generator and state evaluator to work together to find the correct sequence of actions to achieve the goal. Inspired by the role of visual imagination in the human design process, we supplement the visual reasoning capabilities of VLMs with "imagined" reference images from image-generation models, providing visual grounding of abstract language descriptions. In this paper, we provide empirical evidence suggesting our system can produce simple but tedious Blender editing sequences for tasks such as editing procedural materials from text and/or reference images, as well as adjusting lighting configurations for product renderings in complex scenes.