SPhyR: 물질 분포에 대한 공간-물리적 추론 벤치마크

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

May 21, 2025

저자: Philipp D. Siedler

cs.AI

초록

우리는 토폴로지 최적화를 기반으로 대규모 언어 모델(LLM)의 물리적 및 공간적 추론 능력을 벤치마킹하기 위해 설계된 새로운 데이터셋을 소개합니다. 토폴로지 최적화는 주어진 하중과 지지 조건 하에서 설계 공간 내 최적의 재료 분포를 계산하는 방법입니다. 이 데이터셋에서 LLM은 2D 경계, 적용된 힘 및 지지 조건과 같은 정보를 제공받고, 그 결과로 나오는 최적의 재료 분포에 대해 추론해야 합니다. 데이터셋은 부분 구조 내 마스킹된 영역을 채우는 작업부터 완전한 재료 분포를 예측하는 작업까지 다양한 과제를 포함합니다. 이러한 과제를 해결하기 위해서는 주어진 제약 조건 하에서 힘의 흐름과 필요한 재료 분포를 이해해야 하며, 시뮬레이션 도구나 명시적인 물리적 모델에 접근하지 않고도 구조적 안정성과 공간적 조직에 대해 추론해야 합니다. 우리의 데이터셋은 2D 설정에서 공간적 및 물리적 추론 능력을 평가하는 데 초점을 맞추며, 전통적인 언어 및 논리 벤치마크에 보완적인 관점을 제공합니다.

English

We introduce a novel dataset designed to benchmark the physical and spatial reasoning capabilities of Large Language Models (LLM) based on topology optimization, a method for computing optimal material distributions within a design space under prescribed loads and supports. In this dataset, LLMs are provided with conditions such as 2D boundary, applied forces and supports, and must reason about the resulting optimal material distribution. The dataset includes a variety of tasks, ranging from filling in masked regions within partial structures to predicting complete material distributions. Solving these tasks requires understanding the flow of forces and the required material distribution under given constraints, without access to simulation tools or explicit physical models, challenging models to reason about structural stability and spatial organization. Our dataset targets the evaluation of spatial and physical reasoning abilities in 2D settings, offering a complementary perspective to traditional language and logic benchmarks.