AppAgentX: Die Entwicklung von GUI-Agenten als kompetente Smartphone-Nutzer

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Autoren: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Language Models (LLMs) haben zur Entwicklung intelligenter, LLM-basierter Agenten geführt, die in der Lage sind, mit grafischen Benutzeroberflächen (GUIs) zu interagieren. Diese Agenten zeigen eine starke Fähigkeit zum logischen Denken und zur Anpassung, wodurch sie komplexe Aufgaben bewältigen können, die traditionell vordefinierte Regeln erforderten. Allerdings führt die Abhängigkeit von schrittweisem Denken in LLM-basierten Agenten oft zu Ineffizienzen, insbesondere bei Routineaufgaben. Im Gegensatz dazu zeichnen sich traditionelle regelbasierte Systeme durch Effizienz aus, mangelt es ihnen jedoch an Intelligenz und Flexibilität, um sich an neue Szenarien anzupassen. Um diese Herausforderung zu bewältigen, schlagen wir einen neuartigen evolutionären Rahmen für GUI-Agenten vor, der die operative Effizienz steigert, während Intelligenz und Flexibilität erhalten bleiben. Unser Ansatz integriert einen Speichermechanismus, der die Aufgabenausführungsgeschichte des Agenten aufzeichnet. Durch die Analyse dieser Geschichte identifiziert der Agent sich wiederholende Aktionssequenzen und entwickelt hochrangige Aktionen, die als Abkürzungen fungieren und diese niedrigrangigen Operationen ersetzen, wodurch die Effizienz verbessert wird. Dies ermöglicht es dem Agenten, sich auf Aufgaben zu konzentrieren, die komplexeres Denken erfordern, während Routineaktionen vereinfacht werden. Experimentelle Ergebnisse bei mehreren Benchmark-Aufgaben zeigen, dass unser Ansatz bestehende Methoden sowohl in Bezug auf Effizienz als auch Genauigkeit deutlich übertrifft. Der Code wird Open-Source bereitgestellt, um weitere Forschungen zu unterstützen.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.