AppAgentX: Evolución de agentes GUI como usuarios competentes de smartphones

AppAgentX: Evolving GUI Agents as Proficient Smartphone Users

March 4, 2025

Autores: Wenjia Jiang, Yangyang Zhuang, Chenxi Song, Xu Yang, Chi Zhang

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han llevado al desarrollo de agentes inteligentes basados en LLMs capaces de interactuar con interfaces gráficas de usuario (GUIs). Estos agentes demuestran un fuerte razonamiento y adaptabilidad, lo que les permite realizar tareas complejas que tradicionalmente requerían reglas predefinidas. Sin embargo, la dependencia del razonamiento paso a paso en los agentes basados en LLMs a menudo resulta en ineficiencias, particularmente para tareas rutinarias. En contraste, los sistemas tradicionales basados en reglas sobresalen en eficiencia pero carecen de la inteligencia y flexibilidad para adaptarse a escenarios novedosos. Para abordar este desafío, proponemos un marco evolutivo novedoso para agentes GUI que mejora la eficiencia operativa mientras mantiene la inteligencia y flexibilidad. Nuestro enfoque incorpora un mecanismo de memoria que registra el historial de ejecución de tareas del agente. Al analizar este historial, el agente identifica secuencias de acciones repetitivas y evoluciona acciones de alto nivel que actúan como atajos, reemplazando estas operaciones de bajo nivel y mejorando la eficiencia. Esto permite al agente centrarse en tareas que requieren un razonamiento más complejo, mientras simplifica las acciones rutinarias. Los resultados experimentales en múltiples tareas de referencia demuestran que nuestro enfoque supera significativamente a los métodos existentes tanto en eficiencia como en precisión. El código será de código abierto para apoyar investigaciones futuras.

English

Recent advancements in Large Language Models (LLMs) have led to the development of intelligent LLM-based agents capable of interacting with graphical user interfaces (GUIs). These agents demonstrate strong reasoning and adaptability, enabling them to perform complex tasks that traditionally required predefined rules. However, the reliance on step-by-step reasoning in LLM-based agents often results in inefficiencies, particularly for routine tasks. In contrast, traditional rule-based systems excel in efficiency but lack the intelligence and flexibility to adapt to novel scenarios. To address this challenge, we propose a novel evolutionary framework for GUI agents that enhances operational efficiency while retaining intelligence and flexibility. Our approach incorporates a memory mechanism that records the agent's task execution history. By analyzing this history, the agent identifies repetitive action sequences and evolves high-level actions that act as shortcuts, replacing these low-level operations and improving efficiency. This allows the agent to focus on tasks requiring more complex reasoning, while simplifying routine actions. Experimental results on multiple benchmark tasks demonstrate that our approach significantly outperforms existing methods in both efficiency and accuracy. The code will be open-sourced to support further research.