VISTA: 視点一貫性を持つ自己検証型GUIグラウンディング訓練

要旨

GUIグラウンディングにGRPO（グループ相対方策最適化）を適用する場合、ロールアウトは単一のスクリーンショットビューからサンプリングされるため、グループは困難なインスタンスではすべて失敗、簡単なインスタンスではすべて成功となりがちで、有用な相対的アドバンテージが得られない。本論文では、VISTA（ビュー一貫性自己検証学習）を提案する。これはGRPOベースの学習フレームワークであり、同一のGUIインスタンスのターゲットを保持する複数のビューから各比較グループを構築する。各ビューは、ターゲット要素を可視に保ち、そのボックスを正確に再マッピングするクロップによって生成される。これにより、モデルのロールアウトが意味的に等価だが幾何学的に異なる入力間で比較される。短い座標生成を安定化させると同時に、強化学習を無条件の模倣に変えないために、VISTAはさらに自己検証型クロスビューアンカーを追加する。これはアドバンテージ重み付け損失で最適化されたオラクル回答であり、グループベースラインから除外され、モデルが最大報酬ロールアウトを生成した場合にのみ活性化される。5つのGUIグラウンディングベンチマークと複数のQwenバックボーンにおいて、VISTAは一貫してグラウンディング精度を向上させる。ScreenSpot-Proでは、Qwen3-VL 4B/8B/30B-A3Bの精度を55.5/52.7/53.7から63.4/65.8/67.0に向上させる。ロバスト性分析により、さらに最悪ビュー精度の向上と予測反転率の低下が示されている。

English

When applying Group Relative Policy Optimization (GRPO) for GUI Grounding, rollouts are sampled from a single screenshot view; groups often become either all failures on difficult instances or all successes on easy ones, yielding no useful relative advantage. We propose VISTA (View-Consistent Self-Verified Training), a GRPO-based training framework that constructs each comparison group from multiple target-preserving views of the same GUI instance.Each view is generated by a crop that keeps the target element visible and remaps its box exactly, so model rollouts are compared across semantically equivalent but geometrically different inputs. To stabilize short coordinate generation without turning reinforcement learning into unconditional imitation, VISTA further adds a self-verified cross-view anchor: an oracle answer optimized with an advantage-weighted loss, excluded from the group baseline and activated only when the model has produced a maximum-reward rollout. Across five GUI-grounding benchmarks and multiple Qwen backbones, VISTA consistently improves grounding accuracy.On ScreenSpot-Pro, it raises Qwen3-VL 4B/8B/30B-A3B from 55.5/52.7/53.7 to 63.4/65.8/67.0. Robustness analyses further show higher worst-view accuracy and lower prediction flip rates.