Hacia Agentes GUI Confiables: Una Revisión

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Autores: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Resumen

Los agentes GUI, impulsados por grandes modelos fundacionales, pueden interactuar con interfaces digitales, permitiendo diversas aplicaciones en automatización web, navegación móvil y pruebas de software. Sin embargo, su creciente autonomía ha generado preocupaciones críticas sobre su seguridad, privacidad y fiabilidad. Este estudio examina la confiabilidad de los agentes GUI en cinco dimensiones clave: vulnerabilidades de seguridad, fiabilidad en entornos dinámicos, transparencia y explicabilidad, consideraciones éticas y metodologías de evaluación. También identificamos desafíos importantes, como la vulnerabilidad a ataques adversarios, modos de fallo en cascada en la toma de decisiones secuenciales y la falta de puntos de referencia de evaluación realistas. Estos problemas no solo dificultan el despliegue en el mundo real, sino que también exigen estrategias de mitigación integrales más allá del éxito en las tareas. A medida que los agentes GUI se vuelven más generalizados, es esencial establecer estándares de seguridad robustos y prácticas de desarrollo responsables. Este estudio proporciona una base para avanzar en la creación de agentes GUI confiables a través de una comprensión sistemática y futuras investigaciones.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.