FocusUI: Эффективное заземление пользовательского интерфейса с помощью позиционно-сохраняющего выбора визуальных токенов

FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection

January 7, 2026

Авторы: Mingyu Ouyang, Kevin Qinghong Lin, Mike Zheng Shou, Hwee Tou Ng

cs.AI

Аннотация

Модели «визуальный язык» (Vision-Language Models, VLM) демонстрируют выдающиеся результаты в задачах привязки к пользовательскому интерфейсу (UI), что обусловлено их способностью обрабатывать скриншоты всё более высокого разрешения. Однако скриншоты токенизируются в тысячи визуальных токенов (например, около 4700 для разрешения 2K), что приводит к значительным вычислительным затратам и размыванию внимания. В отличие от этого, люди при взаимодействии с UI обычно фокусируются на областях интереса. В данной работе мы впервые ставим задачу эффективной привязки к UI. Руководствуясь практическим анализом особенностей и проблем задачи, мы предлагаем FocusUI — эффективную архитектуру для привязки к UI, которая выбирает наиболее релевантные инструкции патчи, сохраняя при этом позиционную непрерывность для точной привязки. FocusUI решает две ключевые проблемы: (1) Устранение избыточных токенов в визуальном кодировании. Мы создаём патч-уровневую разметку, объединяя оценку, обусловленную инструкцией, с правиловой оценкой на графе UI, которая понижает вес больших однородных областей для отбора различимых и релевантных инструкции визуальных токенов. (2) Сохранение позиционной непрерывности при отборе визуальных токенов. Мы обнаружили, что общие методы прореживания визуальных токенов приводят к серьёзному падению точности в задачах привязки к UI из-за нарушения позиционной информации. Мы представляем новую стратегию PosPad, которая сжимает каждую непрерывную последовательность отброшенных визуальных токенов в единый специальный маркер, размещаемый по последнему индексу последовательности, для сохранения позиционной непрерывности. Комплексные эксперименты на четырёх бенчмарках привязки показывают, что FocusUI превосходит специализированные для GUI базовые методы. На бенчмарке ScreenSpot-Pro модель FocusUI-7B достигает улучшения производительности на 3.7% по сравнению с GUI-Actor-7B. Даже при сохранении всего 30% визуальных токенов, FocusUI-7B теряет лишь 3.2% точности, обеспечивая при этом до 1.44x ускорение вывода и на 17% меньший пиковый объём памяти GPU.

English

Vision-Language Models (VLMs) have shown remarkable performance in User Interface (UI) grounding tasks, driven by their ability to process increasingly high-resolution screenshots. However, screenshots are tokenized into thousands of visual tokens (e.g., about 4700 for 2K resolution), incurring significant computational overhead and diluting attention. In contrast, humans typically focus on regions of interest when interacting with UI. In this work, we pioneer the task of efficient UI grounding. Guided by practical analysis of the task's characteristics and challenges, we propose FocusUI, an efficient UI grounding framework that selects patches most relevant to the instruction while preserving positional continuity for precise grounding. FocusUI addresses two key challenges: (1) Eliminating redundant tokens in visual encoding. We construct patch-level supervision by fusing an instruction-conditioned score with a rule-based UI-graph score that down-weights large homogeneous regions to select distinct and instruction-relevant visual tokens. (2) Preserving positional continuity during visual token selection. We find that general visual token pruning methods suffer from severe accuracy degradation on UI grounding tasks due to broken positional information. We introduce a novel PosPad strategy, which compresses each contiguous sequence of dropped visual tokens into a single special marker placed at the sequence's last index to preserve positional continuity. Comprehensive experiments on four grounding benchmarks demonstrate that FocusUI surpasses GUI-specific baselines. On the ScreenSpot-Pro benchmark, FocusUI-7B achieves a performance improvement of 3.7% over GUI-Actor-7B. Even with only 30% visual token retention, FocusUI-7B drops by only 3.2% while achieving up to 1.44x faster inference and 17% lower peak GPU memory.