MobA: Двухуровневая система агентов для эффективной автоматизации задач на мобильных устройствах.

MobA: A Two-Level Agent System for Efficient Mobile Task Automation

October 17, 2024

Авторы: Zichen Zhu, Hao Tang, Yansi Li, Kunyao Lan, Yixuan Jiang, Hao Zhou, Yixiao Wang, Situo Zhang, Liangtai Sun, Lu Chen, Kai Yu

cs.AI

Аннотация

Существующие мобильные ассистенты ограничены зависимостью от API системы или сталкиваются с сложными инструкциями пользователей и разнообразными интерфейсами из-за ограниченных способностей в понимании и принятии решений. Для решения этих проблем мы предлагаем MobA, новейшего агента для мобильного телефона, основанного на мультимодальных крупномасштабных языковых моделях, который улучшает способности в понимании и планировании благодаря сложной двухуровневой архитектуре агента. Высокоуровневый Глобальный Агент (ГА) отвечает за понимание команд пользователя, отслеживание истории и планирование задач. Низкоуровневый Локальный Агент (ЛА) предсказывает детальные действия в форме вызовов функций, руководствуясь подзадачами и памятью от ГА. Интеграция Рефлексивного Модуля позволяет эффективно завершать задачи и позволяет системе обрабатывать ранее не встречавшиеся сложные задачи. MobA продемонстрировал значительное улучшение эффективности выполнения задач и процентов завершения в реальных оценках, подчеркивая потенциал мобильных ассистентов, усиленных MLLM.

English

Current mobile assistants are limited by dependence on system APIs or struggle with complex user instructions and diverse interfaces due to restricted comprehension and decision-making abilities. To address these challenges, we propose MobA, a novel Mobile phone Agent powered by multimodal large language models that enhances comprehension and planning capabilities through a sophisticated two-level agent architecture. The high-level Global Agent (GA) is responsible for understanding user commands, tracking history memories, and planning tasks. The low-level Local Agent (LA) predicts detailed actions in the form of function calls, guided by sub-tasks and memory from the GA. Integrating a Reflection Module allows for efficient task completion and enables the system to handle previously unseen complex tasks. MobA demonstrates significant improvements in task execution efficiency and completion rate in real-life evaluations, underscoring the potential of MLLM-empowered mobile assistants.