MobA : Un système d'agent à deux niveaux pour une automatisation efficace des tâches mobiles

MobA: A Two-Level Agent System for Efficient Mobile Task Automation

October 17, 2024

Auteurs: Zichen Zhu, Hao Tang, Yansi Li, Kunyao Lan, Yixuan Jiang, Hao Zhou, Yixiao Wang, Situo Zhang, Liangtai Sun, Lu Chen, Kai Yu

cs.AI

Résumé

Les assistants mobiles actuels sont limités par leur dépendance aux API système ou ont du mal avec des instructions utilisateur complexes et des interfaces diverses en raison de capacités de compréhension et de prise de décision restreintes. Pour relever ces défis, nous proposons MobA, un nouvel Agent de téléphone mobile alimenté par des modèles de langage multimodaux de grande taille qui améliore les capacités de compréhension et de planification grâce à une architecture d'agent à deux niveaux sophistiquée. L'Agent Global de haut niveau (GA) est responsable de la compréhension des commandes utilisateur, du suivi des mémoires historiques et de la planification des tâches. L'Agent Local de bas niveau (LA) prédit des actions détaillées sous forme d'appels de fonctions, guidé par des sous-tâches et des mémoires du GA. L'intégration d'un Module de Réflexion permet une réalisation efficace des tâches et permet au système de gérer des tâches complexes jamais rencontrées auparavant. MobA démontre des améliorations significatives en termes d'efficacité d'exécution des tâches et de taux de réalisation dans des évaluations en conditions réelles, soulignant le potentiel des assistants mobiles alimentés par MLLM.

English

Current mobile assistants are limited by dependence on system APIs or struggle with complex user instructions and diverse interfaces due to restricted comprehension and decision-making abilities. To address these challenges, we propose MobA, a novel Mobile phone Agent powered by multimodal large language models that enhances comprehension and planning capabilities through a sophisticated two-level agent architecture. The high-level Global Agent (GA) is responsible for understanding user commands, tracking history memories, and planning tasks. The low-level Local Agent (LA) predicts detailed actions in the form of function calls, guided by sub-tasks and memory from the GA. Integrating a Reflection Module allows for efficient task completion and enables the system to handle previously unseen complex tasks. MobA demonstrates significant improvements in task execution efficiency and completion rate in real-life evaluations, underscoring the potential of MLLM-empowered mobile assistants.