L3GO: 非従来型オブジェクト生成のための3D思考連鎖を備えた言語エージェント

L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects

February 14, 2024

著者: Yutaro Yamada, Khyathi Chandu, Yuchen Lin, Jack Hessel, Ilker Yildirim, Yejin Choi

cs.AI

要旨

DALL-E 3やStable Diffusion-XLなどの拡散ベースの画像生成モデルは、現実的で独創的な構図の画像を生成する際に顕著な能力を示します。しかし、これらのモデルは、特に「5本足の椅子」のような非慣習的で、したがって分布外の記述を指示された場合に、物体の物理的・空間的配置を正確に推論する点で堅牢ではありません。本論文では、3D思考連鎖（Chain-of-3D-Thoughts）を備えた言語エージェント（L3GO）を提案します。これは、現在のデータ駆動型拡散モデルが苦手とする非慣習的な物体のパーツベースの3Dメッシュ生成を推論するための推論時アプローチです。具体的には、大規模言語モデルをエージェントとして使用し、3Dシミュレーション環境内で試行錯誤を経て目的の物体を構成します。本研究を促進するために、新たなベンチマーク「Unconventionally Feasible Objects（UFO）」と、Blender上に構築されたラッパー環境「SimpleBlenv」を開発しました。SimpleBlenvでは、言語エージェントがAPI呼び出しを介して原子構築ブロックを構築・構成できます。人間および自動GPT-4V評価により、我々のアプローチがShapeNetにおける3Dメッシュ生成において標準のGPT-4や他の言語エージェント（例：ReActやReflexion）を凌駕することが示されました。さらに、UFOベンチマークでテストした場合、我々のアプローチは人間評価に基づいて他の最先端のテキストから2D画像およびテキストから3Dモデルを生成するモデルを上回りました。

English

Diffusion-based image generation models such as DALL-E 3 and Stable Diffusion-XL demonstrate remarkable capabilities in generating images with realistic and unique compositions. Yet, these models are not robust in precisely reasoning about physical and spatial configurations of objects, especially when instructed with unconventional, thereby out-of-distribution descriptions, such as "a chair with five legs". In this paper, we propose a language agent with chain-of-3D-thoughts (L3GO), an inference-time approach that can reason about part-based 3D mesh generation of unconventional objects that current data-driven diffusion models struggle with. More concretely, we use large language models as agents to compose a desired object via trial-and-error within the 3D simulation environment. To facilitate our investigation, we develop a new benchmark, Unconventionally Feasible Objects (UFO), as well as SimpleBlenv, a wrapper environment built on top of Blender where language agents can build and compose atomic building blocks via API calls. Human and automatic GPT-4V evaluations show that our approach surpasses the standard GPT-4 and other language agents (e.g., ReAct and Reflexion) for 3D mesh generation on ShapeNet. Moreover, when tested on our UFO benchmark, our approach outperforms other state-of-the-art text-to-2D image and text-to-3D models based on human evaluation.