GUI-AIMA: Afstemming van intrinsieke multimodale aandacht met een contextanker voor GUI-gronding

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

November 2, 2025

Auteurs: Shijie Zhou, Viet Dac Lai, Hao Tan, Jihyung Kil, Wanrong Zhu, Changyou Chen, Ruiyi Zhang

cs.AI

Samenvatting

Grafische gebruikersinterface (GUI) grounding is een kerfunctie van computergebruiksagenten, die natuurlijktaalinstructies afbeeldt op actiebare schermregio's. Bestaande benaderingen gebaseerd op Multimodale Large Language Models (MLLM's) formuleren dit typisch als een op tekst gebaseerde coördinatengeneratietaak, maar het direct genereren van precieze coördinaten uit visuele invoer blijft uitdagend en rekenintensief. Een intuïtieve manier om GUI-grounding te implementeren is om eerst visuele patches te selecteren die relevant zijn voor de instructies en vervolgens de precieze kliklocatie binnen die patches te bepalen. Gebaseerd op de observatie dat algemene MLLM's enige inherente grounding-capaciteit hebben, genesteld in hun aandachtssystemen, stellen we GUI-AIMA voor, een op aandacht gebaseerd en coördinaatvrij supervised fine-tuning raamwerk voor efficiënte GUI-grounding. GUI-AIMA aligneert de intrinsieke multimodale aandacht van MLLM's met patchgewijze grounding-signalen. Deze signalen worden adaptief berekend voor diverse gebruikersinstructies door multi-head aggregatie op vereenvoudigde query-visuele aandachtmatrices. Bovendien kan de coördinaatvrije aard eenvoudig een plug-and-play inzoomfase integreren. GUI-AIMA-3B werd getraind met slechts 85k schermafbeeldingen, wat uitzonderlijke data-efficiëntie aantoont en verifieert dat lichte training de inherente grounding-capaciteit van MLLM's kan activeren. Het behaalt state-of-the-art prestaties onder 3B-modellen, met een gemiddelde nauwkeurigheid van 58,6% op ScreenSpot-Pro en 62,2% op OSWorld-G. Projectpagina: https://github.com/sjz5202/GUI-AIMA

English

Graphical user interface (GUI) grounding is a key function of computer-use agents, which maps natural-language instructions to actionable screen regions. Existing approaches based on Multimodal Large Language Models (MLLMs) typically formulate it as a text-based coordinate generation task, yet directly generating precise coordinates from visual inputs remains challenging and computationally intensive. An intuitive way to implement GUI grounding is to first select visual patches relevant to the instructions and then determine the precise click location within those patches. Based on the observations that general MLLMs have some native grounding capability, nested within their attentions, we propose GUI-AIMA, an attention-based and coordinate-free supervised fine-tuning framework for efficient GUI grounding. GUI-AIMA aligns the intrinsic multimodal attention of MLLMs with patch-wise grounding signals. These signals are calculated adaptively for diverse user instructions by multi-head aggregation on simplified query-visual attention matrices. Besides, its coordinate-free manner can easily integrate a plug-and-play zoom-in stage. GUI-AIMA-3B was trained with only 85k screenshots, demonstrating exceptional data efficiency and verifying that light training can trigger the native grounding capability of MLLMs. It achieves state-of-the-art performance among 3B models, attaining an average accuracy of 58.6% on ScreenSpot-Pro and 62.2% on OSWorld-G. Project page: https://github.com/sjz5202/GUI-AIMA