FirePlace: Геометрические уточнения здравого смысла в рассуждениях языковых моделей для размещения 3D-объектов

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

Авторы: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

Аннотация

Генерация сцен с использованием 3D-ассетов представляет собой сложную задачу, требующую как высокоуровневого семантического понимания, так и низкоуровневого геометрического анализа. Хотя мультимодальные большие языковые модели (MLLMs) демонстрируют высокие результаты в семантических задачах, их применение для генерации 3D-сцен ограничено недостаточным учетом 3D-геометрии. В данной статье мы исследуем, как наиболее эффективно использовать MLLMs в задаче размещения объектов. Для достижения этой цели мы представляем новую структуру, FirePlace, которая применяет существующие MLLMs для (1) геометрического анализа 3D-сцен и извлечения соответствующих геометрических деталей, (2) построения и решения геометрических ограничений на основе извлеченной низкоуровневой геометрии и (3) отбора окончательных вариантов размещения, соответствующих здравому смыслу. Комбинируя геометрический анализ с реальным пониманием MLLMs, наш метод предлагает размещения объектов, которые удовлетворяют как геометрическим ограничениям, так и высокоуровневым семантическим соображениям. Наши эксперименты показывают, что эти возможности позволяют нашему методу более эффективно размещать объекты в сложных сценах с замысловатой геометрией, превосходя качество предыдущих работ.

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.