SPhyR : Benchmark de raisonnement spatial-physique sur la distribution des matériaux

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

Auteurs: Philipp D. Siedler

cs.AI

Résumé

Nous présentons un nouveau jeu de données conçu pour évaluer les capacités de raisonnement physique et spatial des modèles de langage de grande taille (LLM) basé sur l'optimisation topologique, une méthode permettant de calculer les distributions optimales de matériaux dans un espace de conception soumis à des charges et des supports prédéfinis. Dans ce jeu de données, les LLM reçoivent des conditions telles que des limites 2D, des forces appliquées et des supports, et doivent raisonner sur la distribution optimale de matériau qui en résulte. Le jeu de données inclut une variété de tâches, allant du remplissage de régions masquées dans des structures partielles à la prédiction de distributions complètes de matériaux. La résolution de ces tâches nécessite de comprendre le flux des forces et la distribution de matériau requise sous des contraintes données, sans accès à des outils de simulation ou à des modèles physiques explicites, mettant ainsi les modèles au défi de raisonner sur la stabilité structurelle et l'organisation spatiale. Notre jeu de données vise à évaluer les capacités de raisonnement spatial et physique dans des contextes 2D, offrant une perspective complémentaire aux benchmarks traditionnels de langage et de logique.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.