VISTA: Weergave-consistente zelfgeverifieerde training voor GUI-verankering

Samenvatting

Bij het toepassen van Groepsrelatief Beleidsoptimalisatie (GRPO) voor GUI-verankering worden rollouts gesampled uit een enkele schermafbeeldingweergave; groepen worden vaak ofwel allemaal mislukkingen op moeilijke voorbeelden of allemaal successen op makkelijke, wat geen nuttig relatief voordeel oplevert. Wij stellen VISTA (View-Consistent Self-Verified Training) voor, een op GRPO gebaseerd trainingsraamwerk dat elke vergelijkingsgroep construeert uit meerdere doelbehoudende weergaven van dezelfde GUI-instantie. Elke weergave wordt gegenereerd door een uitsnede die het doelelement zichtbaar houdt en zijn kader exact herleidt, zodat modelrollouts worden vergeleken over semantisch equivalente maar geometrisch verschillende inputs. Om korte coördinaatgeneratie te stabiliseren zonder reinforcement learning om te zetten in onvoorwaardelijke imitatie, voegt VISTA bovendien een zelfgeverifieerd cross-weergave anker toe: een orakelantwoord geoptimaliseerd met een voordeelgewogen verlies, uitgesloten van de groepsbasislijn en alleen geactiveerd wanneer het model een maximale beloningsuitrol heeft geproduceerd. Over vijf GUI-verankeringsbenchmarks en meerdere Qwen-backbones verbetert VISTA consequent de verankeringsnauwkeurigheid. Op ScreenSpot-Pro verhoogt het Qwen3-VL 4B/8B/30B-A3B van 55,5/52,7/53,7 naar 63,4/65,8/67,0. Robuustheidsanalyses tonen verder een hogere slechtste-weergave nauwkeurigheid en lagere voorspellingsomkeerpercentages.

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.