FocusUI: Effiziente UI-Verknüpfung durch positionserhaltende visuelle Token-Auswahl

FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection

January 7, 2026

papers.authors: Mingyu Ouyang, Kevin Qinghong Lin, Mike Zheng Shou, Hwee Tou Ng

cs.AI

papers.abstract

Vision-Language Models (VLMs) haben bemerkenswerte Leistung bei User Interface (UI) Grounding-Aufgaben gezeigt, angetrieben durch ihre Fähigkeit, zunehmend hochauflösende Screenshots zu verarbeiten. Allerdings werden Screenshots in Tausende von visuellen Tokens tokenisiert (z.B. etwa 4700 für 2K-Auflösung), was erheblichen Rechenaufwand verursacht und die Aufmerksamkeit verwässert. Im Gegensatz dazu konzentrieren sich Menschen typischerweise auf relevante Bereiche bei der Interaktion mit einer UI. In dieser Arbeit pionieren wir die Aufgabe des effizienten UI Groundings. Angeleitet durch eine praktische Analyse der Aufgabencharakteristika und Herausforderungen schlagen wir FocusUI vor, einen effizienten UI-Grounding-Rahmen, der die für die Anweisung relevantesten Bildbereiche (Patches) auswählt, dabei aber die positionsbezogene Kontinuität für präzises Grounding bewahrt. FocusUI adressiert zwei zentrale Herausforderungen: (1) Beseitigung redundanter Tokens in der visuellen Encodierung. Wir konstruieren eine Patch-basierte Supervision, indem wir einen anweisungsbedingten Score mit einem regelbasierten UI-Graph-Score fusionieren, der große homogene Regionen abwertet, um distinkte und anweisungsrelevante visuelle Tokens auszuwählen. (2) Bewahrung der positionsbezogenen Kontinuität während der visuellen Token-Auswahl. Wir stellen fest, dass allgemeine Methoden zur Ausdünnung visueller Tokens unter schwerer Genauigkeitseinbuße bei UI-Grounding-Aufgaben leiden, weil sie positionsbezogene Informationen zerstören. Wir führen eine neuartige PosPad-Strategie ein, die jede zusammenhängende Folge fallengelassener visueller Tokens zu einem einzelnen speziellen Marker komprimiert, der am letzten Index der Folge platziert wird, um die positionsbezogene Kontinuität zu bewahren. Umfassende Experimente auf vier Grounding-Benchmarks demonstrieren, dass FocusUI GUI-spezifische Baseline-Methoden übertrifft. Auf dem ScreenSpot-Pro-Benchmark erzielt FocusUI-7B eine Leistungssteigerung von 3,7 % gegenüber GUI-Actor-7B. Selbst bei nur 30 % Beibehaltung visueller Tokens fällt FocusUI-7B nur um 3,2 % ab, erreicht dabei aber bis zu 1,44x schnellere Inferenz und 17 % geringeren Spitzen-GPU-Speicherverbrauch.

English

Vision-Language Models (VLMs) have shown remarkable performance in User Interface (UI) grounding tasks, driven by their ability to process increasingly high-resolution screenshots. However, screenshots are tokenized into thousands of visual tokens (e.g., about 4700 for 2K resolution), incurring significant computational overhead and diluting attention. In contrast, humans typically focus on regions of interest when interacting with UI. In this work, we pioneer the task of efficient UI grounding. Guided by practical analysis of the task's characteristics and challenges, we propose FocusUI, an efficient UI grounding framework that selects patches most relevant to the instruction while preserving positional continuity for precise grounding. FocusUI addresses two key challenges: (1) Eliminating redundant tokens in visual encoding. We construct patch-level supervision by fusing an instruction-conditioned score with a rule-based UI-graph score that down-weights large homogeneous regions to select distinct and instruction-relevant visual tokens. (2) Preserving positional continuity during visual token selection. We find that general visual token pruning methods suffer from severe accuracy degradation on UI grounding tasks due to broken positional information. We introduce a novel PosPad strategy, which compresses each contiguous sequence of dropped visual tokens into a single special marker placed at the sequence's last index to preserve positional continuity. Comprehensive experiments on four grounding benchmarks demonstrate that FocusUI surpasses GUI-specific baselines. On the ScreenSpot-Pro benchmark, FocusUI-7B achieves a performance improvement of 3.7% over GUI-Actor-7B. Even with only 30% visual token retention, FocusUI-7B drops by only 3.2% while achieving up to 1.44x faster inference and 17% lower peak GPU memory.