Vers des agents d'interface graphique fiables : une étude approfondie

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Auteurs: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Résumé

Les agents d'interface graphique (GUI), alimentés par de grands modèles de base, peuvent interagir avec des interfaces numériques, permettant diverses applications dans l'automatisation web, la navigation mobile et les tests logiciels. Cependant, leur autonomie croissante a soulevé des préoccupations critiques concernant leur sécurité, confidentialité et sûreté. Cette étude examine la fiabilité des agents GUI selon cinq dimensions critiques : les vulnérabilités de sécurité, la fiabilité dans des environnements dynamiques, la transparence et l'explicabilité, les considérations éthiques et les méthodologies d'évaluation. Nous identifions également des défis majeurs tels que la vulnérabilité aux attaques adverses, les modes de défaillance en cascade dans la prise de décision séquentielle et le manque de benchmarks d'évaluation réalistes. Ces problèmes entravent non seulement le déploiement en conditions réelles, mais appellent également à des stratégies d'atténuation globales allant au-delà de la simple réussite des tâches. À mesure que les agents GUI se généralisent, l'établissement de normes de sécurité robustes et de pratiques de développement responsables devient essentiel. Cette étude fournit une base pour faire progresser les agents GUI fiables grâce à une compréhension systématique et à des recherches futures.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.