GUI-프리미티브: 비전-언어 GUI 그라운딩에서의 공간 추론 실패 진단

초록

컴퓨터 사용 에이전트는 자연어 지시문을 스크린샷에 기반을 두어 인터페이스 요소를 찾지만, 기존 벤치마크는 모델이 관계형 언어를 올바른 요소에 결속시키는지 여부를 분리하여 측정하지 않는다. 우리는 그래픽 사용자 인터페이스에서의 일곱 가지 공간 관계(왼쪽/오른쪽, 위/아래, 포함, 정렬, 근접, 목록 순서, 가림)에 대한 대조적 지시문 쌍으로 구성된 994개 항목의 벤치마크인 GUI-Primitives를 소개한다. 각 쌍은 스크린샷과 앵커를 고정한 채 관계 표현만 바꾸므로, 올바른 대상은 두 지정된 후보 사이에서 달라진다. 다섯 명의 주석자가 196개 항목의 부분집합을 검증했다(형식 적절성 κ=0.94, 대상 선택 κ=0.79). 19개의 비전-언어 모델은 엄격한 점-상자 내부 정확도에서 최대 32%를 달성한다. 모델이 제약 없는 좌표를 출력하므로, 우리는 각 예측을 그것이 속한 후보 영역에 따라 분류한다. 예측은 항목의 60~92%에서 두 후보 영역을 모두 벗어난다. 후보 영역 내에 속하는 경우로 조건을 한정하면, 대상 선택 정확도는 수평 위치, 수직 위치, 근접, 목록 순서에 대해 0.82~0.90에 이르지만, 포함과 가림에 대해서는 0.50과 유의미하게 다르지 않다. 즉, 대부분의 실패는 관계 이해보다는 후보 위치 파악의 문제를 반영한다. 10개 모델에서 벤치마크 정확도는 ScreenSpot-Pro 정확도와 상관관계를 보인다(스피어만 ρ= +0.74). 이는 이 표본 크기에서 탐색적 연관성이다. 두 지정된 후보를 표시하면 선택 정확도가 35~57퍼센트 포인트 상승한다. 이는 후보 집합을 제공하는 오라클 진단으로, 배포 가능한 방법은 아니다. 우리는 벤치마크, 예측 결과, 코드를 공개한다.

English

Computer-use agents ground natural-language instructions in screenshots to locate interface elements, yet existing benchmarks do not isolate whether models bind relational language to the correct element. We introduce GUI-Primitives, a 994-item benchmark of contrastive instruction pairs over seven spatial relations in graphical user interfaces (left/right, above/below, containment, alignment, proximity, list ordinal, occlusion). Each pair holds the screenshot and anchor fixed while changing the relation expression, so the correct target moves between two designated candidates. Five annotators validate a 196-item subset (κ= 0.94 well-formedness; κ= 0.79 target selection). Nineteen vision-language models reach at most 32% strict point-in-box accuracy. Because models emit unconstrained coordinates, we classify each prediction by the candidate region it falls within. Predictions fall outside both candidates on 60-92% of items. Conditional on falling within a candidate region, target selection reaches 0.82-0.90 for horizontal position, vertical position, proximity, and list ordinal, but does not differ significantly from 0.50 for containment and occlusion: most failures reflect candidate localization rather than relation understanding. Across ten models, benchmark accuracy correlates with ScreenSpot-Pro accuracy (Spearman ρ= +0.74), an exploratory association at this sample size. Marking the two designated candidates raises selection accuracy by 35--57 percentage points, an oracle diagnostic that supplies the candidate set rather than a deployable method. We release the benchmark, predictions, and code.