MobA: Ein Zwei-Ebenen-Agentensystem zur effizienten Automatisierung mobiler Aufgaben

MobA: A Two-Level Agent System for Efficient Mobile Task Automation

October 17, 2024

Autoren: Zichen Zhu, Hao Tang, Yansi Li, Kunyao Lan, Yixuan Jiang, Hao Zhou, Yixiao Wang, Situo Zhang, Liangtai Sun, Lu Chen, Kai Yu

cs.AI

Zusammenfassung

Aktuelle mobile Assistenten sind durch ihre Abhängigkeit von System-APIs eingeschränkt oder haben Schwierigkeiten mit komplexen Benutzeranweisungen und verschiedenen Schnittstellen aufgrund begrenzter Verständnis- und Entscheidungsfähigkeiten. Um diesen Herausforderungen zu begegnen, schlagen wir MobA vor, einen neuartigen mobilen Agenten, der von multimodalen großen Sprachmodellen angetrieben wird und die Verständnis- und Planungsfähigkeiten durch eine ausgefeilte Agentenarchitektur auf zwei Ebenen verbessert. Der hochrangige Globale Agent (GA) ist für das Verstehen von Benutzerbefehlen, das Verfolgen von Verlaufserinnerungen und die Planung von Aufgaben verantwortlich. Der niedergradige Lokale Agent (LA) sagt detaillierte Aktionen in Form von Funktionsaufrufen voraus, geleitet von Teilaufgaben und Erinnerungen des GA. Die Integration eines Reflexionsmoduls ermöglicht eine effiziente Aufgabenerfüllung und befähigt das System, zuvor nicht gesehene komplexe Aufgaben zu bewältigen. MobA zeigt signifikante Verbesserungen in der Effizienz der Aufgabenausführung und im Abschlussgrad in Realweltbewertungen und unterstreicht das Potenzial von MLLM-gestützten mobilen Assistenten.

English

Current mobile assistants are limited by dependence on system APIs or struggle with complex user instructions and diverse interfaces due to restricted comprehension and decision-making abilities. To address these challenges, we propose MobA, a novel Mobile phone Agent powered by multimodal large language models that enhances comprehension and planning capabilities through a sophisticated two-level agent architecture. The high-level Global Agent (GA) is responsible for understanding user commands, tracking history memories, and planning tasks. The low-level Local Agent (LA) predicts detailed actions in the form of function calls, guided by sub-tasks and memory from the GA. Integrating a Reflection Module allows for efficient task completion and enables the system to handle previously unseen complex tasks. MobA demonstrates significant improvements in task execution efficiency and completion rate in real-life evaluations, underscoring the potential of MLLM-empowered mobile assistants.