Один проход лучше двух: InnerZoom для точной и эффективной привязки к GUI

Аннотация

Методы GUI-грундинга на основе MLLM обычно формулируют локализацию целей как авторегрессивную генерацию координат, что позволяет моделям использовать сильные способности слежения за инструкциями и семантического понимания, присущие MLLM. Однако такая формулировка требует, чтобы модель сохраняла свидетельства о целевых регионах на уровне областей при декодировании токенов координат с пространственной точностью, необходимой для кликов в GUI. Наш диагностический анализ показывает, что осведомленность о целевых регионах возникает в промежуточных слоях декодера, но не сохраняется и не транслируется в итоговое предсказание координат. Существующие методы типа ZoomIn решают эту проблему с помощью внешнего прохода «обрезать и перезапустить», что улучшает локализацию, но увеличивает сквозную задержку и вычислительные затраты. Чтобы сохранить преимущества двухпроходного зуммирования без этих дополнительных затрат, мы предлагаем InnerZoom — однонаправленную структуру для межслойного связывания свидетельств. InnerZoom преобразует сигналы, связанные с целью, из исходного прямого прохода в компактное межслойное состояние свидетельств, а затем сохраняет, уточняет и повторно внедряет это состояние на последующих слоях декодера для управления предсказанием координат. Обширные экспериментальные результаты показывают, что InnerZoom-4B достигает самых высоких результатов на всех шести бенчмарках GUI-грундинга, получая 64,7 на OSWorld-G, 40,2 на UI-Vision, 73,1 на OSWorld-GR и 87,6 на MMBench-GUI, превосходя предыдущие лучшие результаты на 4,1, 3,2, 2,9 и 2,3 балла соответственно. В условиях контролируемого 4B-сценария InnerZoom улучшает тот же базовый уровень SFT+RL в среднем на 5,3 балла и превосходит двухпроходный ZoomIn в среднем на 1,3 балла, одновременно снижая сквозную задержку до 31,8% и TFLOPs примерно на 29%. Код и модели будут доступны публично.

English

MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.