Rumo a Agentes de Interface Gráfica Confiáveis: Uma Análise

Towards Trustworthy GUI Agents: A Survey

March 30, 2025

Autores: Yucheng Shi, Wenhao Yu, Wenlin Yao, Wenhu Chen, Ninghao Liu

cs.AI

Resumo

Agentes de interface gráfica (GUI), impulsionados por grandes modelos de base, podem interagir com interfaces digitais, permitindo diversas aplicações em automação web, navegação móvel e testes de software. No entanto, sua crescente autonomia tem levantado preocupações críticas sobre sua segurança, privacidade e confiabilidade. Esta pesquisa examina a confiabilidade dos agentes de GUI em cinco dimensões críticas: vulnerabilidades de segurança, confiabilidade em ambientes dinâmicos, transparência e explicabilidade, considerações éticas e metodologias de avaliação. Também identificamos grandes desafios, como a vulnerabilidade a ataques adversariais, modos de falha em cascata na tomada de decisão sequencial e a falta de benchmarks de avaliação realistas. Esses problemas não apenas dificultam a implantação no mundo real, mas também exigem estratégias abrangentes de mitigação que vão além do sucesso na execução de tarefas. À medida que os agentes de GUI se tornam mais difundidos, é essencial estabelecer padrões robustos de segurança e práticas de desenvolvimento responsáveis. Esta pesquisa fornece uma base para o avanço de agentes de GUI confiáveis por meio de uma compreensão sistemática e pesquisas futuras.

English

GUI agents, powered by large foundation models, can interact with digital interfaces, enabling various applications in web automation, mobile navigation, and software testing. However, their increasing autonomy has raised critical concerns about their security, privacy, and safety. This survey examines the trustworthiness of GUI agents in five critical dimensions: security vulnerabilities, reliability in dynamic environments, transparency and explainability, ethical considerations, and evaluation methodologies. We also identify major challenges such as vulnerability to adversarial attacks, cascading failure modes in sequential decision-making, and a lack of realistic evaluation benchmarks. These issues not only hinder real-world deployment but also call for comprehensive mitigation strategies beyond task success. As GUI agents become more widespread, establishing robust safety standards and responsible development practices is essential. This survey provides a foundation for advancing trustworthy GUI agents through systematic understanding and future research.