HyperClick: Avançando na Ancoragem Confiável de GUI via Calibração de Incerteza

HyperClick: Advancing Reliable GUI Grounding via Uncertainty Calibration

October 31, 2025

Autores: Shaojie Zhang, Pei Fu, Ruoceng Zhang, Jiahui Yang, Anan Du, Xiuwen Xi, Shaokang Wang, Ying Huang, Bin Qin, Zhenbo Luo, Jian Luan

cs.AI

Resumo

Os agentes autónomos de interface gráfica do utilizador (GUI) dependem de uma fundamentação precisa da GUI, que mapeia instruções linguísticas para coordenadas no ecrã, para executar comandos do utilizador. No entanto, os modelos atuais, sejam treinados através de afinação supervisionada (SFT) ou de afinação por reforço (RFT), carecem de autoconsciência sobre os seus limites de capacidade, levando a excesso de confiança e previsões não confiáveis. Primeiro, avaliamos sistematicamente a confiança probabilística e verbalizada em modelos gerais e específicos para GUI, revelando um desalinhamento entre a confiança e a precisão real, o que é particularmente crítico em tarefas de automação de GUI dinâmicas, onde erros únicos podem causar falhas na tarefa. Para resolver isto, propomos o HyperClick, uma estrutura inovadora que melhora a fundamentação confiável da GUI através da calibração de incerteza. O HyperClick introduz um mecanismo de recompensa dupla, combinando uma recompensa binária para ações corretas com uma modelação de confiança espacial baseada numa Gaussiana truncada, calibrada usando o escore de Brier. Esta abordagem otimiza conjuntamente a precisão da fundamentação e a confiabilidade da confiança, promovendo a autocrítica introspetiva. Extensivas experiências em sete benchmarks de desafio mostram que o HyperClick alcança um desempenho de última geração, fornecendo ao mesmo tempo uma confiança bem calibrada. Ao permitir uma calibração explícita de confiança e uma autocrítica introspetiva, o HyperClick reduz o excesso de confiança e suporta uma automação de GUI mais confiável.

English

Autonomous Graphical User Interface (GUI) agents rely on accurate GUI grounding, which maps language instructions to on-screen coordinates, to execute user commands. However, current models, whether trained via supervised fine-tuning (SFT) or reinforcement fine-tuning (RFT), lack self-awareness of their capability boundaries, leading to overconfidence and unreliable predictions. We first systematically evaluate probabilistic and verbalized confidence in general and GUI-specific models, revealing a misalignment between confidence and actual accuracy, which is particularly critical in dynamic GUI automation tasks, where single errors can cause task failure. To address this, we propose HyperClick, a novel framework that enhances reliable GUI grounding through uncertainty calibration. HyperClick introduces a dual reward mechanism, combining a binary reward for correct actions with a truncated Gaussian-based spatial confidence modeling, calibrated using the Brier score. This approach jointly optimizes grounding accuracy and confidence reliability, fostering introspective self-criticism. Extensive experiments on seven challenge benchmarks show that HyperClick achieves state-of-the-art performance while providing well-calibrated confidence. By enabling explicit confidence calibration and introspective self-criticism, HyperClick reduces overconfidence and supports more reliable GUI automation.