L3GO: Agentes de Linguagem com Cadeia de Pensamentos 3D para Geração de Objetos Não Convencionais

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Autores: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Resumo

Modelos de geração de imagens baseados em difusão, como o DALL-E 3 e o Stable Diffusion-XL, demonstram capacidades impressionantes na criação de imagens com composições realistas e únicas. No entanto, esses modelos não são robustos ao raciocinar precisamente sobre configurações físicas e espaciais de objetos, especialmente quando instruídos com descrições não convencionais e, portanto, fora da distribuição, como "uma cadeira com cinco pernas". Neste artigo, propomos um agente de linguagem com cadeia de pensamentos 3D (L3GO), uma abordagem em tempo de inferência que pode raciocinar sobre a geração de malhas 3D baseadas em partes para objetos não convencionais com os quais os modelos de difusão orientados por dados atuais têm dificuldade. Mais concretamente, usamos modelos de linguagem de grande escala como agentes para compor um objeto desejado por meio de tentativa e erro dentro de um ambiente de simulação 3D. Para facilitar nossa investigação, desenvolvemos um novo benchmark, Objetos Não Convencionalmente Viáveis (UFO), bem como o SimpleBlenv, um ambiente encapsulado construído sobre o Blender, onde agentes de linguagem podem construir e compor blocos atômicos por meio de chamadas de API. Avaliações humanas e automáticas com GPT-4V mostram que nossa abordagem supera o GPT-4 padrão e outros agentes de linguagem (por exemplo, ReAct e Reflexion) na geração de malhas 3D no ShapeNet. Além disso, quando testada em nosso benchmark UFO, nossa abordagem supera outros modelos state-of-the-art de texto para imagem 2D e texto para 3D com base em avaliação humana.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.