SPhyR: Benchmark di Ragionamento Spaziale-Fisico sulla Distribuzione dei Materiali

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

Autori: Philipp D. Siedler

cs.AI

Abstract

Introduciamo un nuovo dataset progettato per valutare le capacità di ragionamento fisico e spaziale dei Modelli Linguistici di Grande Dimensione (LLM) basati sull'ottimizzazione topologica, un metodo per calcolare la distribuzione ottimale dei materiali all'interno di uno spazio di progetto sotto carichi e supporti predefiniti. In questo dataset, ai LLM vengono fornite condizioni come contorni 2D, forze applicate e supporti, e devono ragionare sulla distribuzione ottimale risultante dei materiali. Il dataset include una varietà di task, che vanno dal riempimento di regioni mascherate all'interno di strutture parziali alla previsione di distribuzioni complete dei materiali. Risolvere questi task richiede la comprensione del flusso delle forze e della distribuzione necessaria dei materiali sotto vincoli dati, senza accesso a strumenti di simulazione o modelli fisici espliciti, mettendo alla prova i modelli nel ragionare sulla stabilità strutturale e sull'organizzazione spaziale. Il nostro dataset mira a valutare le abilità di ragionamento spaziale e fisico in contesti 2D, offrendo una prospettiva complementare ai benchmark tradizionali di linguaggio e logica.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.