GUI-AIMA: Alineación de la Atención Multimodal Intrínseca con un Ancla Contextual para la Fundamentación de GUI

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

November 2, 2025

Autores: Shijie Zhou, Viet Dac Lai, Hao Tan, Jihyung Kil, Wanrong Zhu, Changyou Chen, Ruiyi Zhang

cs.AI

Resumen

La fundamentación de interfaces gráficas de usuario (GUI) es una función clave de los agentes de uso informático, que mapea instrucciones en lenguaje natural a regiones accionables en pantalla. Los enfoques existentes basados en Modelos de Lenguaje Grandes Multimodales (MLLMs) típicamente lo formulan como una tarea de generación de coordenadas basada en texto; sin embargo, generar coordenadas precisas directamente a partir de entradas visuales sigue siendo un desafío y computacionalmente intensivo. Una forma intuitiva de implementar la fundamentación de GUI es primero seleccionar parches visuales relevantes para las instrucciones y luego determinar la ubicación precisa del clic dentro de esos parches. Basándonos en la observación de que los MLLMs generales poseen cierta capacidad de fundamentación nativa, anidada en sus mecanismos de atención, proponemos GUI-AIMA, un marco de ajuste fino supervisado, libre de coordenadas y basado en atención, para una fundamentación de GUI eficiente. GUI-AIMA alinea la atención multimodal intrínseca de los MLLMs con señales de fundamentación a nivel de parche. Estas señales se calculan de forma adaptativa para diversas instrucciones de usuario mediante agregación multi-cabezal en matrices de atención consulta-visual simplificadas. Además, su naturaleza libre de coordenadas permite integrar fácilmente una etapa de zoom enchufable y listo para usar. GUI-AIMA-3B fue entrenado con solo 85,000 capturas de pantalla, demostrando una eficiencia de datos excepcional y verificando que un entrenamiento ligero puede activar la capacidad de fundamentación nativa de los MLLMs. Logra un rendimiento de vanguardia entre los modelos de 3B, alcanzando una precisión promedio del 58.6% en ScreenSpot-Pro y del 62.2% en OSWorld-G. Página del proyecto: https://github.com/sjz5202/GUI-AIMA

English

Graphical user interface (GUI) grounding is a key function of computer-use agents, which maps natural-language instructions to actionable screen regions. Existing approaches based on Multimodal Large Language Models (MLLMs) typically formulate it as a text-based coordinate generation task, yet directly generating precise coordinates from visual inputs remains challenging and computationally intensive. An intuitive way to implement GUI grounding is to first select visual patches relevant to the instructions and then determine the precise click location within those patches. Based on the observations that general MLLMs have some native grounding capability, nested within their attentions, we propose GUI-AIMA, an attention-based and coordinate-free supervised fine-tuning framework for efficient GUI grounding. GUI-AIMA aligns the intrinsic multimodal attention of MLLMs with patch-wise grounding signals. These signals are calculated adaptively for diverse user instructions by multi-head aggregation on simplified query-visual attention matrices. Besides, its coordinate-free manner can easily integrate a plug-and-play zoom-in stage. GUI-AIMA-3B was trained with only 85k screenshots, demonstrating exceptional data efficiency and verifying that light training can trigger the native grounding capability of MLLMs. It achieves state-of-the-art performance among 3B models, attaining an average accuracy of 58.6% on ScreenSpot-Pro and 62.2% on OSWorld-G. Project page: https://github.com/sjz5202/GUI-AIMA