Обучение с подкреплением во время тестирования для привязки графического интерфейса через согласованность регионов

Test-Time Reinforcement Learning for GUI Grounding via Region Consistency

August 7, 2025

Авторы: Yong Du, Yuchen Yan, Fei Tang, Zhengxi Lu, Chang Zong, Weiming Lu, Shengpei Jiang, Yongliang Shen

cs.AI

Аннотация

Графический интерфейс пользователя (GUI) grounding — задача сопоставления инструкций на естественном языке с точными координатами на экране — является фундаментальной для автономных агентов, работающих с GUI. Хотя существующие методы достигают высокой производительности за счет обширного обучения с учителем или обучения с подкреплением с помеченными наградами, они остаются ограниченными стоимостью и доступностью аннотаций на уровне пикселей. Мы наблюдаем, что когда модели генерируют несколько предсказаний для одного и того же элемента GUI, паттерны пространственного перекрытия выявляют неявные сигналы уверенности, которые могут направлять более точную локализацию. Используя это наблюдение, мы предлагаем GUI-RC (Region Consistency), метод масштабирования на этапе тестирования, который строит пространственные голосующие сетки из множества сэмплированных предсказаний для выявления областей консенсуса, где модели демонстрируют наибольшее согласие. Без какого-либо обучения GUI-RC повышает точность на 2-3% для различных архитектур на бенчмарках ScreenSpot. Мы также представляем GUI-RCPO (Region Consistency Policy Optimization), который преобразует эти паттерны согласованности в награды для обучения с подкреплением на этапе тестирования. Вычисляя, насколько хорошо каждое предсказание соответствует коллективному консенсусу, GUI-RCPO позволяет моделям итеративно улучшать свои выходные данные на немаркированных данных во время вывода. Обширные эксперименты демонстрируют универсальность нашего подхода: GUI-RC повышает точность Qwen2.5-VL-3B-Instruct с 80,11% до 83,57% на ScreenSpot-v2, а GUI-RCPO дополнительно улучшает её до 85,14% за счет самообучающейся оптимизации. Наш подход раскрывает неиспользованный потенциал масштабирования на этапе тестирования и обучения с подкреплением на этапе тестирования для GUI grounding, предлагая перспективный путь к созданию более надежных и эффективных с точки зрения данных GUI агентов.

English

Graphical User Interface (GUI) grounding, the task of mapping natural language instructions to precise screen coordinates, is fundamental to autonomous GUI agents. While existing methods achieve strong performance through extensive supervised training or reinforcement learning with labeled rewards, they remain constrained by the cost and availability of pixel-level annotations. We observe that when models generate multiple predictions for the same GUI element, the spatial overlap patterns reveal implicit confidence signals that can guide more accurate localization. Leveraging this insight, we propose GUI-RC (Region Consistency), a test-time scaling method that constructs spatial voting grids from multiple sampled predictions to identify consensus regions where models show highest agreement. Without any training, GUI-RC improves accuracy by 2-3% across various architectures on ScreenSpot benchmarks. We further introduce GUI-RCPO (Region Consistency Policy Optimization), which transforms these consistency patterns into rewards for test-time reinforcement learning. By computing how well each prediction aligns with the collective consensus, GUI-RCPO enables models to iteratively refine their outputs on unlabeled data during inference. Extensive experiments demonstrate the generality of our approach: GUI-RC boosts Qwen2.5-VL-3B-Instruct from 80.11% to 83.57% on ScreenSpot-v2, while GUI-RCPO further improves it to 85.14% through self-supervised optimization. Our approach reveals the untapped potential of test-time scaling and test-time reinforcement learning for GUI grounding, offering a promising path toward more robust and data-efficient GUI agents.