VISTA: Ansichtskonsistentes selbstverifiziertes Training für GUI-Verankerung

Zusammenfassung

Bei der Anwendung von Group Relative Policy Optimization (GRPO) für GUI Grounding werden Rollouts aus einer einzigen Screenshot-Ansicht gesampelt; Gruppen bestehen bei schwierigen Instanzen oft aus lauter Fehlschlägen oder bei einfachen Instanzen aus lauter Erfolgen, was keinen nutzbringenden relativen Vorteil ergibt. Wir schlagen VISTA (View-Consistent Self-Verified Training) vor, ein auf GRPO basierendes Trainingsframework, das jede Vergleichsgruppe aus mehreren zielbewahrenden Ansichten derselben GUI-Instanz konstruiert. Jede Ansicht wird durch einen Ausschnitt erzeugt, der das Zielelement sichtbar hält und seine Box exakt abbildet, sodass Modell-Rollouts über semantisch äquivalente, aber geometrisch unterschiedliche Eingaben hinweg verglichen werden. Um die Erzeugung von Kurzkoordinaten zu stabilisieren, ohne Reinforcement Learning in eine bedingungslose Imitation zu verwandeln, fügt VISTA zusätzlich einen selbstverifizierten ansichtsübergreifenden Anker hinzu: eine Orakelantwort, die mit einem vorteilsgewichteten Verlust optimiert wird, von der Gruppenbasislinie ausgeschlossen ist und nur aktiviert wird, wenn das Modell einen Rollout mit maximaler Belohnung erzeugt hat. Über fünf GUI-Grounding-Benchmarks und mehrere Qwen-Backbones hinweg verbessert VISTA konsistent die Grounding-Genauigkeit. Auf ScreenSpot-Pro steigert es Qwen3-VL 4B/8B/30B-A3B von 55,5/52,7/53,7 auf 63,4/65,8/67,0. Robustheitsanalysen zeigen zudem eine höhere Genauigkeit bei der schlechtesten Ansicht und niedrigere Vorhersagewechselraten.

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.