FirePlace: 3Dオブジェクト配置におけるLLM常識推論の幾何学的精緻化

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

著者: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

要旨

3Dアセットを用いたシーン生成は、高レベルの意味理解と低レベルの幾何学的推論の両方を必要とする複雑な課題です。マルチモーダル大規模言語モデル（MLLMs）は意味タスクにおいて優れた性能を発揮しますが、3Dジオメトリに対する基盤が限られているため、3Dシーン生成への応用が制限されています。本論文では、オブジェクト配置タスクにおいてMLLMsをどのように活用するのが最適かを調査します。この目標に向けて、我々は新しいフレームワークであるFirePlaceを提案します。FirePlaceは、既存のMLLMsを以下の3つの側面で活用します：(1) 3D幾何学的推論と3Dシーンからの関連する幾何学的詳細の抽出、(2) 抽出された低レベルジオメトリに対する幾何学的制約の構築と解決、(3) 常識に従った最終的な配置の選定。幾何学的推論とMLLMsの現実世界理解を組み合わせることで、我々の手法は幾何学的制約と高レベルの意味的常識の両方を満たすオブジェクト配置を提案することができます。実験結果は、この能力が複雑なジオメトリを持つシーンにおいて、従来の研究を上回る品質でオブジェクトを効果的に配置できることを示しています。

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.