BlenderAlchemy: 3D-graphics bewerken met visie-taalmodellen

BlenderAlchemy: Editing 3D Graphics with Vision-Language Models

April 26, 2024

Auteurs: Ian Huang, Guandao Yang, Leonidas Guibas

cs.AI

Samenvatting

Grafisch ontwerp is belangrijk voor diverse toepassingen, waaronder filmproductie en gamedesign. Om een hoogwaardige scène te creëren, moeten ontwerpers meestal uren besteden in software zoals Blender, waarbij ze vaak handelingen moeten afwisselen en herhalen, zoals het verbinden van materiaalnodes, honderden keren. Bovendien kunnen lichtjes verschillende ontwerpdoelen volledig verschillende sequenties vereisen, wat automatisering bemoeilijkt. In dit artikel stellen we een systeem voor dat gebruikmaakt van Vision-Language Models (VLMs), zoals GPT-4V, om op intelligente wijze de ontwerpactieruimte te doorzoeken en tot een oplossing te komen die aan de intentie van de gebruiker voldoet. Specifiek ontwerpen we een op visie gebaseerde bewerkingsgenerator en een toestandsevaluator die samenwerken om de juiste reeks acties te vinden om het doel te bereiken. Geïnspireerd door de rol van visuele verbeelding in het menselijke ontwerpproces, versterken we de visuele redeneervaardigheden van VLMs met "verbeelde" referentiebeelden van beeldgeneratiemodellen, waardoor abstracte taal beschrijvingen visueel worden verankerd. In dit artikel leveren we empirisch bewijs dat suggereert dat ons systeem eenvoudige maar vervelende Blender-bewerkingssequenties kan produceren voor taken zoals het bewerken van procedurele materialen vanuit tekst en/of referentiebeelden, evenals het aanpassen van lichtconfiguraties voor productweergaven in complexe scènes.

English

Graphics design is important for various applications, including movie production and game design. To create a high-quality scene, designers usually need to spend hours in software like Blender, in which they might need to interleave and repeat operations, such as connecting material nodes, hundreds of times. Moreover, slightly different design goals may require completely different sequences, making automation difficult. In this paper, we propose a system that leverages Vision-Language Models (VLMs), like GPT-4V, to intelligently search the design action space to arrive at an answer that can satisfy a user's intent. Specifically, we design a vision-based edit generator and state evaluator to work together to find the correct sequence of actions to achieve the goal. Inspired by the role of visual imagination in the human design process, we supplement the visual reasoning capabilities of VLMs with "imagined" reference images from image-generation models, providing visual grounding of abstract language descriptions. In this paper, we provide empirical evidence suggesting our system can produce simple but tedious Blender editing sequences for tasks such as editing procedural materials from text and/or reference images, as well as adjusting lighting configurations for product renderings in complex scenes.