VISTA: Согласованное по представлениям самоверифицируемое обучение для привязки к графическому интерфейсу пользователя

Аннотация

При применении GRPO для привязки к графическому интерфейсу (GUI Grounding) прогоны (rollouts) выбираются из одного снимка экрана; группы часто оказываются либо полностью неудачными на сложных примерах, либо полностью успешными на простых, что не дает полезного относительного преимущества. Мы предлагаем VISTA (View-Consistent Self-Verified Training) — фреймворк обучения на основе GRPO, который формирует каждую группу сравнения из нескольких сохраняющих цель видов одного и того же экземпляра GUI. Каждый вид создается путем обрезки, сохраняющей целевой элемент видимым и точно переназначающей его рамку, так что прогоны модели сравниваются по семантически эквивалентным, но геометрически различным входам. Для стабилизации генерации коротких координат без превращения обучения с подкреплением в безусловную имитацию VISTA дополнительно добавляет самоверифицируемый кросс-вью якорь: оракул-ответ, оптимизированный с помощью потери с взвешиванием по преимуществу, исключенный из базовой линии группы и активируемый только тогда, когда модель выдала прогон с максимальным вознаграждением. На пяти бенчмарках привязки к GUI и нескольких бэкбоунах Qwen VISTA последовательно улучшает точность привязки. На ScreenSpot-Pro он повышает точность Qwen3-VL 4B/8B/30B-A3B с 55,5/52,7/53,7 до 63,4/65,8/67,0. Анализ робастности дополнительно показывает более высокую точность на худшем виде и более низкую частоту переключений предсказаний.

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.