AppAgentX: Evoluzione di agenti GUI come utenti esperti di smartphone

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Autori: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) hanno portato allo sviluppo di agenti intelligenti basati su LLM in grado di interagire con interfacce grafiche utente (GUI). Questi agenti dimostrano un forte ragionamento e adattabilità, permettendo loro di eseguire compiti complessi che tradizionalmente richiedevano regole predefinite. Tuttavia, la dipendenza dal ragionamento passo-passo negli agenti basati su LLM spesso si traduce in inefficienze, specialmente per compiti di routine. Al contrario, i sistemi tradizionali basati su regole eccellono in efficienza ma mancano dell'intelligenza e della flessibilità necessarie per adattarsi a scenari nuovi. Per affrontare questa sfida, proponiamo un nuovo framework evolutivo per agenti GUI che migliora l'efficienza operativa mantenendo intelligenza e flessibilità. Il nostro approccio incorpora un meccanismo di memoria che registra la cronologia di esecuzione dei compiti dell'agente. Analizzando questa cronologia, l'agente identifica sequenze di azioni ripetitive ed evolve azioni di alto livello che fungono da scorciatoie, sostituendo queste operazioni di basso livello e migliorando l'efficienza. Ciò consente all'agente di concentrarsi su compiti che richiedono un ragionamento più complesso, semplificando al contempo le azioni di routine. I risultati sperimentali su molteplici compiti di benchmark dimostrano che il nostro approccio supera significativamente i metodi esistenti sia in efficienza che in accuratezza. Il codice sarà reso open-source per supportare ulteriori ricerche.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.