VISTA: Entrenamiento Autoverificado y Consistente en Vistas para el Anclaje de GUI

Resumen

Al aplicar la Optimización de Política Relativa por Grupos (GRPO) para el Grounding de GUI, los rollouts se muestrean desde una única vista de la captura de pantalla; los grupos a menudo resultan ser todos fallos en instancias difíciles o todos éxitos en las fáciles, sin proporcionar una ventaja relativa útil. Proponemos VISTA (Entrenamiento Autoverificado Consistente con la Vista), un marco de entrenamiento basado en GRPO que construye cada grupo de comparación a partir de múltiples vistas que preservan el objetivo de la misma instancia de GUI. Cada vista se genera mediante un recorte que mantiene visible el elemento objetivo y reasigna su cuadro exactamente, por lo que los rollouts del modelo se comparan entre entradas semánticamente equivalentes pero geométricamente diferentes. Para estabilizar la generación de coordenadas cortas sin convertir el aprendizaje por refuerzo en imitación incondicional, VISTA añade además un anclaje autoverificado entre vistas: una respuesta oracular optimizada con una pérdida ponderada por ventaja, excluida de la línea base del grupo y activada solo cuando el modelo ha producido un rollout de recompensa máxima. En cinco puntos de referencia de grounding de GUI y múltiples backbones de Qwen, VISTA mejora consistentemente la precisión del grounding. En ScreenSpot-Pro, eleva Qwen3-VL 4B/8B/30B-A3B de 55.5/52.7/53.7 a 63.4/65.8/67.0. Los análisis de robustez muestran además una mayor precisión en la peor vista y tasas de cambio de predicción más bajas.

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.