SPhyR: Punto de Referencia para el Razonamiento Espacial-Físico sobre la Distribución de Materiales

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

Autores: Philipp D. Siedler

cs.AI

Resumen

Presentamos un nuevo conjunto de datos diseñado para evaluar las capacidades de razonamiento físico y espacial de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) basado en la optimización topológica, un método para calcular distribuciones óptimas de material dentro de un espacio de diseño bajo cargas y soportes predefinidos. En este conjunto de datos, se proporciona a los LLM condiciones como límites 2D, fuerzas aplicadas y soportes, y deben razonar sobre la distribución óptima de material resultante. El conjunto de datos incluye una variedad de tareas, que van desde completar regiones enmascaradas dentro de estructuras parciales hasta predecir distribuciones completas de material. Resolver estas tareas requiere comprender el flujo de fuerzas y la distribución de material necesaria bajo restricciones dadas, sin acceso a herramientas de simulación o modelos físicos explícitos, desafiando a los modelos a razonar sobre la estabilidad estructural y la organización espacial. Nuestro conjunto de datos tiene como objetivo evaluar las habilidades de razonamiento espacial y físico en entornos 2D, ofreciendo una perspectiva complementaria a los benchmarks tradicionales de lenguaje y lógica.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.