SafeGround: Wann GUI-Verknüpfungsmodellen vertraut werden kann – Unsicherheitskalibrierung zur Entscheidungsfindung
SafeGround: Know When to Trust GUI Grounding Models via Uncertainty Calibration
February 2, 2026
papers.authors: Qingni Wang, Yue Fan, Xin Eric Wang
cs.AI
papers.abstract
Die Verankerung von grafischen Benutzeroberflächen (GUI) zielt darauf ab, natürliche Sprachbefehle in ausführbare Bildschirmkoordinaten zu übersetzen, um eine automatisierte GUI-Interaktion zu ermöglichen. Dennoch können fehlerhafte Verankerungen zu kostspieligen, schwer rückgängig zu machenden Aktionen führen (z.B. fehlerhafte Zahlungsfreigaben), was Bedenken hinsichtlich der Modellzuverlässigkeit aufwirft. In diesem Artikel stellen wir SafeGround vor, ein unsicherheitsbewusstes Framework für GUI-Verankerungsmodelle, das risikobewusste Vorhersagen durch Kalibrierungen vor dem Testen ermöglicht. SafeGround nutzt eine verteilungsbewusste Unsicherheitsquantifizierungsmethode, um die räumliche Streuung stochastischer Stichproben aus den Ausgaben eines beliebigen Modells zu erfassen. Anschließend leitet SafeGround durch den Kalibrierungsprozess einen Entscheidungsschwellenwert zur Testzeit mit statistisch garantiert kontrollierter Falschentdeckungsrate (FDR) ab. Wir wenden SafeGround auf mehrere GUI-Verankerungsmodelle für den anspruchsvollen ScreenSpot-Pro-Benchmark an. Experimentelle Ergebnisse zeigen, dass unser Unsicherheitsmaß bestehende Baseline-Methoden durchgängig in der Unterscheidung korrekter von inkorrekten Vorhersagen übertrifft, während der kalibrierte Schwellenwert eine zuverlässige Risikokontrolle und das Potenzial für erhebliche Verbesserungen der Systemgenauigkeit auf Systemebene ermöglicht. Über mehrere GUI-Verankerungsmodelle hinweg steigert SafeGround die Systemgenauigkeit um bis zu 5,38 Prozentpunkte gegenüber einer reinen Gemini-Inferenz.
English
Graphical User Interface (GUI) grounding aims to translate natural language instructions into executable screen coordinates, enabling automated GUI interaction. Nevertheless, incorrect grounding can result in costly, hard-to-reverse actions (e.g., erroneous payment approvals), raising concerns about model reliability. In this paper, we introduce SafeGround, an uncertainty-aware framework for GUI grounding models that enables risk-aware predictions through calibrations before testing. SafeGround leverages a distribution-aware uncertainty quantification method to capture the spatial dispersion of stochastic samples from outputs of any given model. Then, through the calibration process, SafeGround derives a test-time decision threshold with statistically guaranteed false discovery rate (FDR) control. We apply SafeGround on multiple GUI grounding models for the challenging ScreenSpot-Pro benchmark. Experimental results show that our uncertainty measure consistently outperforms existing baselines in distinguishing correct from incorrect predictions, while the calibrated threshold reliably enables rigorous risk control and potentials of substantial system-level accuracy improvements. Across multiple GUI grounding models, SafeGround improves system-level accuracy by up to 5.38% percentage points over Gemini-only inference.