하나의 순전파가 두 번을 능가한다: 정확하고 효율적인 GUI 그라운딩을 위한 InnerZoom

초록

MLLM 기반 GUI 그라운딩 방법들은 일반적으로 목표 위치 추정을 자기회귀적 좌표 생성으로 정식화하여, MLLM의 강력한 명령 수행 및 의미 이해 능력을 활용할 수 있게 한다. 그러나 이러한 정식화는 모델이 영역 수준의 목표 증거를 유지하면서, GUI 클릭에 요구되는 공간적 정밀도로 좌표 토큰을 디코딩해야 한다. 진단 분석 결과, 목표 영역 인식은 중간 디코더 계층에서 나타나지만, 최종 좌표 예측으로 유지되거나 변환되지 않는다는 점이 밝혀졌다. 기존 ZoomIn 스타일 방법들은 외부 확대-재실행 과정을 통해 이 문제를 해결하며, 위치 추정은 개선되지만 종단 간 지연 시간과 계산 비용이 증가한다. 이러한 추가 비용 없이 이중 패스 확대의 정확도 이점을 유지하기 위해, 우리는 계층 간 증거 연결을 위한 단일 순방향 프레임워크인 InnerZoom을 제안한다. InnerZoom은 원래 순방향 전달에서 목표 관련 단서를 간결한 계층 간 증거 상태로 변환한 후, 이 상태를 이후 디코딩 계층 전체에 걸쳐 보존, 정제 및 재주입하여 좌표 예측을 유도한다. 광범위한 실험 결과는 InnerZoom-4B가 여섯 개의 모든 GUI 그라운딩 벤치마크에서 최첨단 성능을 달성하여, OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6을 기록하며, 각각 이전 최고 결과를 4.1, 3.2, 2.9, 2.3포인트 능가함을 보여준다. 통제된 4B 설정에서 InnerZoom은 동일한 SFT+RL 기준선을 평균 5.3포인트 개선하고, 이중 패스 ZoomIn을 평균 1.3포인트 능가하면서, 종단 간 지연 시간을 최대 31.8%, TFLOPs를 약 29% 감소시킨다. 코드와 모델은 공개될 예정이다.

English

MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.