GUI-Primitives: 視覚言語GUIグラウンディングにおける空間推論の失敗の診断

要旨

コンピュータ操作エージェントは、自然言語の指示をスクリーンショット内のインターフェース要素の特定に対応付けるが、既存のベンチマークは、モデルが関係表現を正しい要素に結び付けることができるかどうかを切り分けて評価していない。我々は、グラフィカルユーザーインターフェースにおける7つの空間関係（左/右、上/下、包含、整列、近接、リスト順序、遮蔽）にわたる対照的な指示ペアからなる994項目のベンチマーク、GUI-Primitivesを導入する。各ペアは、関係表現を変更する一方でスクリーンショットとアンカーを固定し、正解ターゲットが指定された2つの候補の間で移動するようになっている。5人のアノテータが196項目のサブセットを検証した（整形式性κ=0.94、ターゲット選択κ=0.79）。19の視覚言語モデルは、厳密なポイントインボックス精度で最大32%に達するにとどまる。モデルは制約のない座標を出力するため、各予測を、それが含まれる候補領域によって分類する。予測は、項目の60〜92%において両方の候補の外側に位置する。候補領域内に収まるという条件の下では、ターゲット選択は水平位置、垂直位置、近接、リスト順序について0.82〜0.90に達するが、包含と遮蔽については0.50と有意な差がない。すなわち、ほとんどの失敗は関係理解ではなく、候補の位置特定に起因する。10モデルにわたって、ベンチマーク精度はScreenSpot-Proの精度と相関し（スピアマンρ=+0.74）、これはこのサンプルサイズにおける探索的な関連である。指定された2つの候補をマークすると、選択精度は35〜57パーセントポイント向上する。これは、実運用可能な手法ではなく、候補セットを提供するオラクル診断である。我々は、ベンチマーク、予測、コードを公開する。

English

Computer-use agents ground natural-language instructions in screenshots to locate interface elements, yet existing benchmarks do not isolate whether models bind relational language to the correct element. We introduce GUI-Primitives, a 994-item benchmark of contrastive instruction pairs over seven spatial relations in graphical user interfaces (left/right, above/below, containment, alignment, proximity, list ordinal, occlusion). Each pair holds the screenshot and anchor fixed while changing the relation expression, so the correct target moves between two designated candidates. Five annotators validate a 196-item subset (κ= 0.94 well-formedness; κ= 0.79 target selection). Nineteen vision-language models reach at most 32% strict point-in-box accuracy. Because models emit unconstrained coordinates, we classify each prediction by the candidate region it falls within. Predictions fall outside both candidates on 60-92% of items. Conditional on falling within a candidate region, target selection reaches 0.82-0.90 for horizontal position, vertical position, proximity, and list ordinal, but does not differ significantly from 0.50 for containment and occlusion: most failures reflect candidate localization rather than relation understanding. Across ten models, benchmark accuracy correlates with ScreenSpot-Pro accuracy (Spearman ρ= +0.74), an exploratory association at this sample size. Marking the two designated candidates raises selection accuracy by 35--57 percentage points, an oracle diagnostic that supplies the candidate set rather than a deployable method. We release the benchmark, predictions, and code.