Naar Betrouwbare GUI-Agenten: Een Overzicht

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Auteurs: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Samenvatting

GUI-agents, aangedreven door grote foundation-modellen, kunnen interacteren met digitale interfaces, wat diverse toepassingen mogelijk maakt in webautomatisering, mobiele navigatie en softwaretesten. Hun toenemende autonomie heeft echter kritieke zorgen opgeworpen over hun beveiliging, privacy en veiligheid. Dit onderzoek belicht de betrouwbaarheid van GUI-agents in vijf cruciale dimensies: beveiligingskwetsbaarheden, betrouwbaarheid in dynamische omgevingen, transparantie en uitlegbaarheid, ethische overwegingen en evaluatiemethodologieën. We identificeren ook belangrijke uitdagingen, zoals gevoeligheid voor adversarial attacks, cascade-foutmodi in sequentiële besluitvorming en een gebrek aan realistische evaluatiebenchmarks. Deze problemen belemmeren niet alleen de inzet in de praktijk, maar vragen ook om uitgebreide mitigatiestrategieën die verder gaan dan taaksucces. Naarmate GUI-agents meer wijdverspreid raken, is het essentieel om robuuste veiligheidsnormen en verantwoorde ontwikkelingspraktijken vast te stellen. Dit onderzoek biedt een basis voor het bevorderen van betrouwbare GUI-agents door systematisch begrip en toekomstig onderzoek.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.