SPhyR: Benchmark für räumlich-physikalisches Schließen zur Materialverteilung

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

Autoren: Philipp D. Siedler

cs.AI

Zusammenfassung

Wir stellen einen neuartigen Datensatz vor, der darauf abzielt, die physikalischen und räumlichen Denkfähigkeiten von Large Language Models (LLMs) anhand von Topologieoptimierung zu bewerten, einer Methode zur Berechnung optimaler Materialverteilungen innerhalb eines Designraums unter vorgegebenen Lasten und Auflagerbedingungen. In diesem Datensatz erhalten LLMs Bedingungen wie 2D-Randbedingungen, wirkende Kräfte und Auflager und müssen die daraus resultierende optimale Materialverteilung ableiten. Der Datensatz umfasst eine Vielzahl von Aufgaben, die vom Ausfüllen maskierter Bereiche in Teilstrukturen bis zur Vorhersage vollständiger Materialverteilungen reichen. Die Lösung dieser Aufgaben erfordert ein Verständnis des Kraftflusses und der erforderlichen Materialverteilung unter gegebenen Randbedingungen, ohne Zugriff auf Simulationstools oder explizite physikalische Modelle, wodurch die Modelle dazu herausgefordert werden, über strukturelle Stabilität und räumliche Organisation zu schlussfolgern. Unser Datensatz zielt auf die Bewertung räumlicher und physikalischer Denkfähigkeiten in 2D-Szenarien ab und bietet eine komplementäre Perspektive zu traditionellen Sprach- und Logik-Benchmarks.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.