L3GO: Agenti Linguistici con Catena di Pensiero 3D per la Generazione di Oggetti Non Convenzionali

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Autori: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Abstract

I modelli di generazione di immagini basati su diffusione, come DALL-E 3 e Stable Diffusion-XL, dimostrano capacità straordinarie nel generare immagini con composizioni realistiche e uniche. Tuttavia, questi modelli non sono robusti nel ragionare con precisione sulle configurazioni fisiche e spaziali degli oggetti, specialmente quando vengono istruiti con descrizioni non convenzionali e quindi fuori distribuzione, come "una sedia con cinque gambe". In questo articolo, proponiamo un agente linguistico con catena di pensieri 3D (L3GO), un approccio in fase di inferenza che può ragionare sulla generazione di mesh 3D basata su parti per oggetti non convenzionali con cui i modelli di diffusione guidati dai dati attuali faticano a confrontarsi. Più concretamente, utilizziamo modelli linguistici di grandi dimensioni come agenti per comporre un oggetto desiderato tramite tentativi ed errori all'interno di un ambiente di simulazione 3D. Per facilitare la nostra indagine, sviluppiamo un nuovo benchmark, Oggetti Non Convenzionalmente Fattibili (UFO), nonché SimpleBlenv, un ambiente wrapper costruito su Blender in cui gli agenti linguistici possono costruire e comporre blocchi costitutivi atomici tramite chiamate API. Le valutazioni umane e automatiche con GPT-4V mostrano che il nostro approccio supera il GPT-4 standard e altri agenti linguistici (ad esempio, ReAct e Reflexion) nella generazione di mesh 3D su ShapeNet. Inoltre, quando testato sul nostro benchmark UFO, il nostro approccio supera altri modelli all'avanguardia di testo-immagine 2D e testo-3D basati su valutazioni umane.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.