Una Pasada Adelante Supera a Dos: InnerZoom para un Grounding de GUI Preciso y Eficiente

Resumen

Los métodos de anclaje de GUI basados en MLLM suelen formular la localización del objetivo como generación autorregresiva de coordenadas, lo que permite a los modelos aprovechar la sólida capacidad de seguimiento de instrucciones y comprensión semántica de los MLLM. Sin embargo, esta formulación requiere que el modelo retenga evidencia del objetivo a nivel de región mientras decodifica tokens de coordenadas con la precisión espacial que exige el clic en la GUI. Nuestro análisis diagnóstico revela que la conciencia de la región objetivo surge en las capas intermedias del decodificador, pero no se retiene ni se traslada a la predicción final de coordenadas. Los métodos existentes del estilo ZoomIn abordan este problema mediante un paso externo de recorte y re-ejecución, lo que mejora la localización pero aumenta la latencia de extremo a extremo y el costo computacional. Para retener los beneficios de precisión del zoom de dos pasos sin este costo adicional, proponemos InnerZoom, un marco de un solo pase hacia adelante para el puente de evidencia entre capas. InnerZoom transforma las señales relacionadas con el objetivo del pase hacia adelante original en un estado de evidencia compacto entre capas, luego preserva, refina y reinyecta este estado a lo largo de las capas de decodificación posteriores para guiar la predicción de coordenadas. Resultados experimentales extensos sugieren que InnerZoom-4B alcanza un rendimiento de vanguardia en los seis puntos de referencia de anclaje de GUI, obteniendo 64.7 en OSWorld-G, 40.2 en UI-Vision, 73.1 en OSWorld-GR y 87.6 en MMBench-GUI, superando los mejores resultados anteriores por 4.1, 3.2, 2.9 y 2.3 puntos, respectivamente. Bajo un entorno controlado de 4B, InnerZoom mejora la misma línea base de SFT+RL en 5.3 puntos en promedio y supera a ZoomIn de dos pasos en 1.3 puntos en promedio, al tiempo que reduce la latencia de extremo a extremo hasta en un 31.8% y los TFLOPs en aproximadamente un 29%. El código y los modelos estarán disponibles públicamente.

English

MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.