SPhyR: Бенчмарк пространственно-физического анализа распределения материалов

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

Авторы: Philipp D. Siedler

cs.AI

Аннотация

Мы представляем новый набор данных, предназначенный для оценки физических и пространственных способностей к рассуждению у крупных языковых моделей (LLM) на основе топологической оптимизации — метода вычисления оптимального распределения материала в пределах проектного пространства при заданных нагрузках и опорах. В этом наборе данных LLM предоставляются условия, такие как 2D границы, приложенные силы и опоры, и они должны рассуждать о результирующем оптимальном распределении материала. Набор данных включает разнообразные задачи, начиная от заполнения замаскированных областей в частичных структурах до предсказания полного распределения материала. Решение этих задач требует понимания потока сил и необходимого распределения материала при заданных ограничениях, без доступа к инструментам симуляции или явным физическим моделям, что бросает вызов моделям в рассуждениях о структурной устойчивости и пространственной организации. Наш набор данных направлен на оценку пространственных и физических способностей к рассуждению в 2D условиях, предлагая дополнительную перспективу к традиционным языковым и логическим тестам.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.