AppAgentX: GUI-agents ontwikkelen als vaardige smartphonegebruikers

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Auteurs: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Samenvatting

Recente ontwikkelingen in Large Language Models (LLMs) hebben geleid tot de ontwikkeling van intelligente, LLM-gebaseerde agents die in staat zijn om te interacteren met grafische gebruikersinterfaces (GUIs). Deze agents tonen sterk redeneervermogen en aanpassingsvermogen, waardoor ze complexe taken kunnen uitvoeren die traditioneel vooraf gedefinieerde regels vereisten. Echter, de afhankelijkheid van stap-voor-stap redenering in LLM-gebaseerde agents resulteert vaak in inefficiënties, vooral bij routinetaken. Traditionele regelgebaseerde systemen daarentegen blinken uit in efficiëntie, maar missen de intelligentie en flexibiliteit om zich aan te passen aan nieuwe scenario's. Om deze uitdaging aan te pakken, stellen we een nieuw evolutionair framework voor GUI-agents voor dat de operationele efficiëntie verbetert terwijl intelligentie en flexibiliteit behouden blijven. Onze aanpak omvat een geheugenmechanisme dat de taakuitvoeringsgeschiedenis van de agent vastlegt. Door deze geschiedenis te analyseren, identificeert de agent repetitieve actiesequenties en ontwikkelt hoogwaardige acties die als snelkoppelingen fungeren, waardoor deze laagwaardige operaties worden vervangen en de efficiëntie wordt verbeterd. Hierdoor kan de agent zich richten op taken die complexer redeneervermogen vereisen, terwijl routinematige acties worden vereenvoudigd. Experimentele resultaten op meerdere benchmarktaken tonen aan dat onze aanpak bestaande methoden significant overtreft in zowel efficiëntie als nauwkeurigheid. De code zal openbaar worden gemaakt om verder onderzoek te ondersteunen.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.