L3GO: Agentes de lenguaje con cadena de pensamiento 3D para la generación de objetos no convencionales

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Autores: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Resumen

Los modelos de generación de imágenes basados en difusión, como DALL-E 3 y Stable Diffusion-XL, demuestran capacidades notables para generar imágenes con composiciones realistas y únicas. Sin embargo, estos modelos no son robustos a la hora de razonar con precisión sobre configuraciones físicas y espaciales de objetos, especialmente cuando se les instruye con descripciones no convencionales y, por lo tanto, fuera de distribución, como "una silla con cinco patas". En este artículo, proponemos un agente de lenguaje con cadena de pensamientos 3D (L3GO), un enfoque en tiempo de inferencia que puede razonar sobre la generación de mallas 3D basadas en partes para objetos no convencionales con los que los modelos de difusión basados en datos actuales tienen dificultades. Más concretamente, utilizamos modelos de lenguaje grandes como agentes para componer un objeto deseado mediante prueba y error dentro de un entorno de simulación 3D. Para facilitar nuestra investigación, desarrollamos un nuevo benchmark, Objetos No Convencionalmente Factibles (UFO), así como SimpleBlenv, un entorno envoltorio construido sobre Blender donde los agentes de lenguaje pueden construir y componer bloques atómicos mediante llamadas API. Las evaluaciones humanas y automáticas con GPT-4V muestran que nuestro enfoque supera al GPT-4 estándar y a otros agentes de lenguaje (por ejemplo, ReAct y Reflexion) en la generación de mallas 3D en ShapeNet. Además, cuando se prueba en nuestro benchmark UFO, nuestro enfoque supera a otros modelos de texto a imagen 2D y texto a 3D de última generación según la evaluación humana.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.