L3GO: Taalagenten met Ketens-van-3D-Gedachten voor het Genereren van Onconventionele Objecten

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Auteurs: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Samenvatting

Diffusie-gebaseerde beeldgeneratiemodellen zoals DALL-E 3 en Stable Diffusion-XL tonen opmerkelijke capaciteiten in het genereren van afbeeldingen met realistische en unieke composities. Toch zijn deze modellen niet robuust in het precies redeneren over fysieke en ruimtelijke configuraties van objecten, vooral wanneer ze worden geïnstrueerd met onconventionele, en daarmee buiten-de-distributie beschrijvingen, zoals "een stoel met vijf poten". In dit artikel stellen we een taalagent voor met een keten-van-3D-gedachten (L3GO), een inferentie-tijdbenadering die kan redeneren over op delen gebaseerde 3D-meshgeneratie van onconventionele objecten waar huidige data-gedreven diffusiemodellen moeite mee hebben. Concreter gebruiken we grote taalmodellen als agenten om een gewenst object via trial-and-error binnen de 3D-simulatieomgeving samen te stellen. Om ons onderzoek te faciliteren, ontwikkelen we een nieuwe benchmark, Unconventionally Feasible Objects (UFO), evenals SimpleBlenv, een wrapper-omgeving gebouwd bovenop Blender waar taalagenten atomaire bouwstenen kunnen bouwen en samenstellen via API-aanroepen. Menselijke en automatische GPT-4V-evaluaties tonen aan dat onze benadering de standaard GPT-4 en andere taalagenten (bijv. ReAct en Reflexion) overtreft voor 3D-meshgeneratie op ShapeNet. Bovendien presteert onze benadering, wanneer getest op onze UFO-benchmark, beter dan andere state-of-the-art tekst-naar-2D-beeld en tekst-naar-3D-modellen op basis van menselijke evaluatie.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.