VISTA: Treinamento Autoverificado Consistente em Vista para Fundamentação de GUI

Resumo

Ao aplicar a Otimização de Política Relativa em Grupos (GRPO) para Fundamentação de GUI (*GUI Grounding*), os *rollouts* são amostrados a partir de uma única vista de captura de tela; os grupos frequentemente resultam em todas falhas em instâncias difíceis ou todos sucessos em instâncias fáceis, não gerando vantagem relativa útil. Propomos VISTA (*View-Consistent Self-Verified Training*), uma estrutura de treinamento baseada em GRPO que constrói cada grupo de comparação a partir de múltiplas vistas que preservam o alvo da mesma instância de GUI. Cada vista é gerada por um recorte que mantém o elemento alvo visível e remapeia sua caixa exatamente, de modo que os *rollouts* do modelo são comparados entre entradas semanticamente equivalentes, mas geometricamente diferentes. Para estabilizar a geração de coordenadas curtas sem transformar o aprendizado por reforço em imitação incondicional, o VISTA adiciona ainda uma âncora auto-verificada entre vistas: uma resposta ótima otimizada com uma perda ponderada pela vantagem, excluída da linha de base do grupo e ativada apenas quando o modelo produziu um *rollout* de recompensa máxima. Em cinco benchmarks de fundamentação de GUI e múltiplos *backbones* Qwen, o VISTA melhora consistentemente a precisão da fundamentação. No ScreenSpot-Pro, ele eleva Qwen3-VL 4B/8B/30B-A3B de 55,5/52,7/53,7 para 63,4/65,8/67,0. Análises de robustez mostram ainda maior precisão na pior vista e menores taxas de inversão de previsão.

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.