Auf dem Weg zu vertrauenswürdigen GUI-Agenten: Ein Überblick

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Autoren: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Zusammenfassung

GUI-Agenten, die durch große Basismodelle angetrieben werden, können mit digitalen Schnittstellen interagieren und ermöglichen so verschiedene Anwendungen in der Webautomatisierung, mobilen Navigation und Softwaretests. Ihre zunehmende Autonomie hat jedoch kritische Bedenken hinsichtlich Sicherheit, Privatsphäre und Sicherheit aufgeworfen. Diese Untersuchung beleuchtet die Vertrauenswürdigkeit von GUI-Agenten in fünf entscheidenden Dimensionen: Sicherheitslücken, Zuverlässigkeit in dynamischen Umgebungen, Transparenz und Erklärbarkeit, ethische Überlegungen sowie Evaluierungsmethoden. Wir identifizieren zudem wesentliche Herausforderungen wie die Anfälligkeit für adversariale Angriffe, kaskadierende Fehlermodi bei sequenziellen Entscheidungsprozessen und den Mangel an realistischen Evaluierungsbenchmarks. Diese Probleme behindern nicht nur den Einsatz in der Praxis, sondern erfordern auch umfassende Strategien zur Risikominderung, die über den bloßen Aufgaben-Erfolg hinausgehen. Da GUI-Agenten immer weiter verbreitet werden, ist die Etablierung robuster Sicherheitsstandards und verantwortungsvoller Entwicklungsmethoden unerlässlich. Diese Untersuchung bietet eine Grundlage für die Weiterentwicklung vertrauenswürdiger GUI-Agenten durch systematisches Verständnis und zukünftige Forschung.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.