HyperClick: Verbetering van Betrouwbare GUI-gronding via Onzekerheidskalibratie

HyperClick: Advancing Reliable GUI Grounding via Uncertainty Calibration

October 31, 2025

Auteurs: Shaojie Zhang, Pei Fu, Ruoceng Zhang, Jiahui Yang, Anan Du, Xiuwen Xi, Shaokang Wang, Ying Huang, Bin Qin, Zhenbo Luo, Jian Luan

cs.AI

Samenvatting

Autonome Graphical User Interface (GUI)-agenten zijn afhankelijk van nauwkeurige GUI-gronding, waarbij taalopdrachten worden gekoppeld aan coördinaten op het scherm, om gebruikerscommando's uit te voeren. Huidige modellen, of ze nu getraind zijn via supervised fine-tuning (SFT) of reinforcement fine-tuning (RFT), beschikken echter niet over zelfbewustzijn van hun capaciteitsgrenzen, wat leidt tot overmoed en onbetrouwbare voorspellingen. We evalueren eerst systematisch probabilistisch en verbaal uitgedrukt vertrouwen in algemene en GUI-specifieke modellen, wat een misalignement onthult tussen vertrouwen en werkelijke nauwkeurigheid. Dit is vooral kritiek bij dynamische GUI-automatiseringstaken, waar enkele fouten tot taakfalen kunnen leiden. Om dit aan te pakken, stellen we HyperClick voor, een nieuw raamwerk dat betrouwbare GUI-gronding verbetert door onzekerheidscalibratie. HyperClick introduceert een dubbele beloningsmechanisme, dat een binaire beloning voor correcte acties combineert met een op afgeknotte Gaussische verdeling gebaseerde modelering van ruimtelijk vertrouwen, gecalibreerd met de Brier-score. Deze aanpak optimaliseert gezamenlijk de grondingsnauwkeurigheid en betrouwbaarheid van het vertrouwen, waardoor introspectieve zelfkritiek wordt gestimuleerd. Uitgebreide experimenten op zeven uitdagende benchmarks tonen aan dat HyperClick state-of-the-art prestaties bereikt en tegelijkertijd goed gecalibreerd vertrouwen biedt. Door expliciete vertrouwenscalibratie en introspectieve zelfkritiek mogelijk te maken, vermindert HyperClick overmoed en ondersteunt het betrouwbaardere GUI-automatisering.

English

Autonomous Graphical User Interface (GUI) agents rely on accurate GUI grounding, which maps language instructions to on-screen coordinates, to execute user commands. However, current models, whether trained via supervised fine-tuning (SFT) or reinforcement fine-tuning (RFT), lack self-awareness of their capability boundaries, leading to overconfidence and unreliable predictions. We first systematically evaluate probabilistic and verbalized confidence in general and GUI-specific models, revealing a misalignment between confidence and actual accuracy, which is particularly critical in dynamic GUI automation tasks, where single errors can cause task failure. To address this, we propose HyperClick, a novel framework that enhances reliable GUI grounding through uncertainty calibration. HyperClick introduces a dual reward mechanism, combining a binary reward for correct actions with a truncated Gaussian-based spatial confidence modeling, calibrated using the Brier score. This approach jointly optimizes grounding accuracy and confidence reliability, fostering introspective self-criticism. Extensive experiments on seven challenge benchmarks show that HyperClick achieves state-of-the-art performance while providing well-calibrated confidence. By enabling explicit confidence calibration and introspective self-criticism, HyperClick reduces overconfidence and supports more reliable GUI automation.