AppAgentX: Evoluindo Agentes de Interface Gráfica como Usuários Proficientes de Smartphones

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Autores: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Resumo

Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) levaram ao desenvolvimento de agentes inteligentes baseados em LLMs capazes de interagir com interfaces gráficas de usuário (GUIs). Esses agentes demonstram forte capacidade de raciocínio e adaptabilidade, permitindo que realizem tarefas complexas que tradicionalmente exigiam regras predefinidas. No entanto, a dependência do raciocínio passo a passo em agentes baseados em LLMs frequentemente resulta em ineficiências, especialmente para tarefas rotineiras. Em contraste, sistemas tradicionais baseados em regras se destacam em eficiência, mas carecem da inteligência e flexibilidade para se adaptar a cenários novos. Para enfrentar esse desafio, propomos uma nova estrutura evolutiva para agentes de GUI que melhora a eficiência operacional enquanto mantém a inteligência e a flexibilidade. Nossa abordagem incorpora um mecanismo de memória que registra o histórico de execução de tarefas do agente. Ao analisar esse histórico, o agente identifica sequências de ações repetitivas e evolui ações de alto nível que funcionam como atalhos, substituindo essas operações de baixo nível e melhorando a eficiência. Isso permite que o agente se concentre em tarefas que exigem raciocínio mais complexo, enquanto simplifica ações rotineiras. Resultados experimentais em múltiplas tarefas de benchmark demonstram que nossa abordagem supera significativamente os métodos existentes em eficiência e precisão. O código será disponibilizado como open-source para apoiar pesquisas futuras.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.