FirePlace: Refinamentos Geométricos do Raciocínio de Senso Comum em LLMs para Posicionamento de Objetos 3D

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

Autores: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

Resumo

A geração de cenas com ativos 3D apresenta um desafio complexo, exigindo tanto compreensão semântica de alto nível quanto raciocínio geométrico de baixo nível. Embora os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) se destaquem em tarefas semânticas, sua aplicação na geração de cenas 3D é limitada pela sua falta de fundamentação em geometria 3D. Neste artigo, investigamos como melhor utilizar MLLMs em uma tarefa de posicionamento de objetos. Para isso, introduzimos um novo framework, o FirePlace, que aplica MLLMs existentes em (1) raciocínio geométrico 3D e extração de detalhes geométricos relevantes da cena 3D, (2) construção e resolução de restrições geométricas sobre a geometria de baixo nível extraída, e (3) poda para posicionamentos finais que estejam em conformidade com o senso comum. Ao combinar raciocínio geométrico com a compreensão do mundo real dos MLLMs, nosso método pode propor posicionamentos de objetos que satisfazem tanto as restrições geométricas quanto considerações semânticas de alto nível baseadas no senso comum. Nossos experimentos mostram que essas capacidades permitem que nosso método posicione objetos de forma mais eficaz em cenas complexas com geometria intrincada, superando a qualidade de trabalhos anteriores.

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.