Ein Vorwärtsdurchlauf schlägt zwei: InnerZoom für präzises und effizientes GUI-Grounding

Zusammenfassung

MLLM-basierte GUI-Grounding-Methoden formulieren die Zielortung üblicherweise als autoregressive Koordinatengenerierung, sodass Modelle die starken Instruktionsbefolgungs- und semantischen Verständnisfähigkeiten von MLLMs nutzen können. Diese Formulierung erfordert jedoch, dass das Modell regionsbezogene Zielhinweise behält, während es Koordinaten-Tokens mit der räumlichen Präzision dekodiert, die für GUI-Klicks erforderlich ist. Unsere diagnostische Analyse zeigt, dass sich das Bewusstsein für Zielregionen in den mittleren Decoder-Schichten entwickelt, aber weder erhalten bleibt noch in die endgültige Koordinatenvorhersage einfließt. Bestehende ZoomIn-artige Methoden adressieren dieses Problem durch einen externen Crop-and-Rerun-Durchlauf, der die Lokalisierung verbessert, aber die End-to-End-Latenz und den Rechenaufwand erhöht. Um die Genauigkeitsvorteile des zweistufigen Zoomings ohne diesen zusätzlichen Aufwand zu bewahren, schlagen wir InnerZoom vor, ein Single-Forward-Framework zur schichtübergreifenden Evidenzverknüpfung. InnerZoom wandelt zielbezogene Hinweise aus dem ursprünglichen Vorwärtsdurchlauf in einen kompakten, schichtübergreifenden Evidenzzustand um, bewahrt, verfeinert und injiziert diesen Zustand dann während der späteren Dekodierungsschichten, um die Koordinatenvorhersage zu leiten. Umfangreiche experimentelle Ergebnisse deuten darauf hin, dass InnerZoom-4B auf allen sechs GUI-Grounding-Benchmarks die Spitzenleistung erzielt und dabei 64,7 auf OSWorld-G, 40,2 auf UI-Vision, 73,1 auf OSWorld-GR und 87,6 auf MMBench-GUI erreicht, wobei die bisherigen Bestleistungen um 4,1, 3,2, 2,9 bzw. 2,3 Punkte übertroffen werden. In einem kontrollierten 4B-Setting verbessert InnerZoom die gleiche SFT+RL-Baseline um durchschnittlich 5,3 Punkte und übertrifft den zweistufigen ZoomIn um durchschnittlich 1,3 Punkte, während die End-to-End-Latenz um bis zu 31,8 % und die TFLOPs um etwa 29 % reduziert werden. Code und Modelle werden öffentlich verfügbar sein.

English

MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.