L3GO: Sprachagenten mit Chain-of-3D-Thoughts zur Erzeugung unkonventioneller Objekte

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Autoren: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Zusammenfassung

Diffusionsbasierte Bildgenerierungsmodelle wie DALL-E 3 und Stable Diffusion-XL zeigen bemerkenswerte Fähigkeiten bei der Erzeugung von Bildern mit realistischen und einzigartigen Kompositionen. Dennoch sind diese Modelle nicht robust darin, physikalische und räumliche Konfigurationen von Objekten präzise zu erfassen, insbesondere wenn sie mit unkonventionellen, also außerhalb der Trainingsverteilung liegenden Beschreibungen wie „ein Stuhl mit fünf Beinen“ instruiert werden. In diesem Artikel schlagen wir einen Sprachagenten mit Chain-of-3D-Thoughts (L3GO) vor, einen Inferenzzeit-Ansatz, der in der Lage ist, die teilbasierte 3D-Mesh-Generierung unkonventioneller Objekte zu erfassen, mit denen aktuelle datengetriebene Diffusionsmodelle Schwierigkeiten haben. Konkret verwenden wir große Sprachmodelle als Agenten, um ein gewünschtes Objekt durch Versuch und Irrtum in einer 3D-Simulationsumgebung zu konstruieren. Um unsere Untersuchung zu unterstützen, entwickeln wir einen neuen Benchmark, Unconventionally Feasible Objects (UFO), sowie SimpleBlenv, eine Wrapper-Umgebung, die auf Blender aufbaut und in der Sprachagenten atomare Bausteine über API-Aufrufe erstellen und kombinieren können. Menschliche und automatische GPT-4V-Evaluierungen zeigen, dass unser Ansatz den Standard GPT-4 und andere Sprachagenten (z. B. ReAct und Reflexion) bei der 3D-Mesh-Generierung auf ShapeNet übertrifft. Darüber hinaus überzeugt unser Ansatz bei Tests auf unserem UFO-Benchmark im Vergleich zu anderen state-of-the-art Text-zu-2D-Bild- und Text-zu-3D-Modellen in der menschlichen Bewertung.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.