L3GO: Языковые агенты с цепочкой 3D-мыслей для генерации нестандартных объектов

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

Авторы: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

Аннотация

Модели генерации изображений на основе диффузии, такие как DALL-E 3 и Stable Diffusion-XL, демонстрируют впечатляющие способности в создании изображений с реалистичными и уникальными композициями. Однако эти модели недостаточно устойчивы в точном анализе физических и пространственных конфигураций объектов, особенно когда им даются нестандартные, а значит, выходящие за пределы распределения описания, такие как «стул с пятью ножками». В данной статье мы предлагаем языкового агента с цепочкой 3D-мыслей (L3GO) — подход на этапе вывода, который способен анализировать генерацию 3D-мешей для нестандартных объектов, с которыми современные модели на основе данных испытывают трудности. Конкретнее, мы используем крупные языковые модели в качестве агентов для создания желаемого объекта методом проб и ошибок в среде 3D-симуляции. Для облегчения нашего исследования мы разработали новый бенчмарк, Unconventionally Feasible Objects (UFO), а также SimpleBlenv — обёрточную среду, построенную на основе Blender, где языковые агенты могут создавать и комбинировать атомарные строительные блоки через API-вызовы. Оценки как людьми, так и автоматической системой GPT-4V показывают, что наш подход превосходит стандартный GPT-4 и других языковых агентов (например, ReAct и Reflexion) в генерации 3D-мешей на наборе данных ShapeNet. Более того, при тестировании на нашем бенчмарке UFO наш подход превосходит другие современные модели преобразования текста в 2D-изображения и текста в 3D-модели по оценкам людей.

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.