Бенчмарк пространственной компетентности

Аннотация

Пространственная компетентность — это способность поддерживать согласованное внутреннее представление об окружающей среде и использовать его для вывода дискретной структуры и планирования действий в условиях ограничений. Существующие методы оценки пространственных способностей крупных моделей ограничиваются проверкой изолированных примитивов с помощью 3D-трансформаций или визуальных вопросо-ответных систем. Мы представляем эталонный тест пространственной компетентности (SCBench), охватывающий три иерархических уровня способностей, задачи которых требуют исполняемых выходных данных, проверяемых детерминированными валидаторами или симуляционными оценщиками. На SCBench три передовые модели демонстрируют монотонное снижение точности по мере усложнения уровней. Анализ ограничений на длину выходных токенов показывает, что рост точности сосредоточен в области низких бюджетов и быстро насыщается, а большинство ошибок обусловлено локально правдоподобной геометрией, нарушающей глобальные ограничения. Мы публикуем генераторы задач, верификаторы и инструменты визуализации.

English

Spatial competence is the quality of maintaining a consistent internal representation of an environment and using it to infer discrete structure and plan actions under constraints. Prevailing spatial evaluations for large models are limited to probing isolated primitives through 3D transformations or visual question answering. We introduce the Spatial Competence Benchmark (SCBench), spanning three hierarchical capability buckets whose tasks require executable outputs verified by deterministic checkers or simulator-based evaluators. On SCBench, three frontier models exhibit monotonically decreasing accuracy up the capability ladder. Sweeping output-token caps shows that accuracy gains concentrate at low budgets and saturate quickly, and failures are dominated by locally plausible geometry that breaks global constraints. We release the task generators, verifiers, and visualisation tooling.