FirePlace: Geometrische Verfijningen van Common Sense Redeneren van LLM's voor 3D-Objectplaatsing

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

Auteurs: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

Samenvatting

Het genereren van scènes met 3D-assets vormt een complexe uitdaging, waarvoor zowel een hoog niveau van semantisch begrip als een laag niveau van geometrisch redeneren vereist is. Hoewel Multimodale Large Language Models (MLLMs) uitblinken in semantische taken, wordt hun toepassing op 3D-scènegeneratie belemmerd door hun beperkte verankering in 3D-geometrie. In dit artikel onderzoeken we hoe MLLMs het beste kunnen worden ingezet bij een objectplaatsingstaak. Met dit doel introduceren we een nieuw raamwerk, FirePlace, dat bestaande MLLMs toepast in (1) 3D-geometrisch redeneren en het extraheren van relevante geometrische details uit de 3D-scène, (2) het opstellen en oplossen van geometrische beperkingen op de geëxtraheerde laagniveau-geometrie, en (3) het selecteren van uiteindelijke plaatsingen die voldoen aan gezond verstand. Door geometrisch redeneren te combineren met het realistische begrip van MLLMs, kan onze methode objectplaatsingen voorstellen die zowel aan geometrische beperkingen als aan hoog niveau semantische overwegingen van gezond verstand voldoen. Onze experimenten tonen aan dat deze mogelijkheden onze methode in staat stellen om objecten effectiever te plaatsen in complexe scènes met ingewikkelde geometrie, waardoor de kwaliteit van eerder werk wordt overtroffen.

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.