GUI-AIMA: Согласование внутреннего мультимодального внимания с контекстным якорем для привязки к графическому интерфейсу

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

November 2, 2025

Авторы: Shijie Zhou, Viet Dac Lai, Hao Tan, Jihyung Kil, Wanrong Zhu, Changyou Chen, Ruiyi Zhang

cs.AI

Аннотация

Графическое заземление интерфейса (GUI grounding) является ключевой функцией агентов, работающих с компьютером, которая преобразует инструкции на естественном языке в действия над определенными областями экрана. Существующие подходы, основанные на мультимодальных больших языковых моделях (MLLM), обычно формулируют эту задачу как генерацию текстовых координат, однако прямая генерация точных координат из визуальных входных данных остается сложной и вычислительно затратной. Интуитивный способ реализации графического заземления заключается в том, чтобы сначала выбрать визуальные фрагменты, релевантные инструкциям, а затем определить точное местоположение клика внутри этих фрагментов. Основываясь на наблюдении, что общие MLLM обладают некоторой врожденной способностью к заземлению, скрытой в их механизмах внимания, мы предлагаем GUI-AIMA — бескоординатную систему тонкой настройки с обучением с учителем, основанную на внимании, для эффективного графического заземления. GUI-AIMA выравнивает внутреннее мультимодальное внимание MLLM с сигналами заземления на уровне фрагментов. Эти сигналы адаптивно вычисляются для разнообразных пользовательских инструкций с помощью многоголовой агрегации на упрощенных матрицах внимания «запрос-визуал». Кроме того, бескоординатный подход позволяет легко интегрировать подключаемый этап увеличения. Модель GUI-AIMA-3B была обучена всего на 85 тыс. скриншотов, демонстрируя исключительную эффективность использования данных и подтверждая, что легкое обучение может активировать врожденную способность MLLM к заземлению. Она достигает наилучших результатов среди моделей объемом 3B, демонстрируя среднюю точность 58.6% на ScreenSpot-Pro и 62.2% на OSWorld-G. Страница проекта: https://github.com/sjz5202/GUI-AIMA

English

Graphical user interface (GUI) grounding is a key function of computer-use agents, which maps natural-language instructions to actionable screen regions. Existing approaches based on Multimodal Large Language Models (MLLMs) typically formulate it as a text-based coordinate generation task, yet directly generating precise coordinates from visual inputs remains challenging and computationally intensive. An intuitive way to implement GUI grounding is to first select visual patches relevant to the instructions and then determine the precise click location within those patches. Based on the observations that general MLLMs have some native grounding capability, nested within their attentions, we propose GUI-AIMA, an attention-based and coordinate-free supervised fine-tuning framework for efficient GUI grounding. GUI-AIMA aligns the intrinsic multimodal attention of MLLMs with patch-wise grounding signals. These signals are calculated adaptively for diverse user instructions by multi-head aggregation on simplified query-visual attention matrices. Besides, its coordinate-free manner can easily integrate a plug-and-play zoom-in stage. GUI-AIMA-3B was trained with only 85k screenshots, demonstrating exceptional data efficiency and verifying that light training can trigger the native grounding capability of MLLMs. It achieves state-of-the-art performance among 3B models, attaining an average accuracy of 58.6% on ScreenSpot-Pro and 62.2% on OSWorld-G. Project page: https://github.com/sjz5202/GUI-AIMA