FirePlace: Refinamientos Geométricos del Razonamiento de Sentido Común en LLM para la Colocación de Objetos 3D

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

Autores: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

Resumen

La generación de escenas con activos 3D presenta un desafío complejo, que requiere tanto una comprensión semántica de alto nivel como un razonamiento geométrico de bajo nivel. Si bien los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) sobresalen en tareas semánticas, su aplicación a la generación de escenas 3D se ve limitada por su escaso fundamento en la geometría 3D. En este artículo, investigamos cómo trabajar de manera óptima con MLLMs en una tarea de colocación de objetos. Con este objetivo, presentamos un marco novedoso, FirePlace, que aplica MLLMs existentes en (1) el razonamiento geométrico 3D y la extracción de detalles geométricos relevantes de la escena 3D, (2) la construcción y resolución de restricciones geométricas sobre la geometría de bajo nivel extraída, y (3) la poda para obtener colocaciones finales que se ajusten al sentido común. Al combinar el razonamiento geométrico con la comprensión del mundo real de los MLLMs, nuestro método puede proponer colocaciones de objetos que satisfacen tanto las restricciones geométricas como las consideraciones semánticas de alto nivel basadas en el sentido común. Nuestros experimentos muestran que estas capacidades permiten que nuestro método coloque objetos de manera más efectiva en escenas complejas con geometría intrincada, superando la calidad de trabajos previos.

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.