Mobile-Agent-V : Apprentissage des opérations sur appareils mobiles par collaboration multi-agent guidée par vidéo

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Auteurs: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Résumé

L'augmentation rapide de l'utilisation des appareils mobiles nécessite une automatisation améliorée pour une gestion fluide des tâches. Cependant, de nombreux frameworks pilotés par l'IA peinent en raison d'une connaissance opérationnelle insuffisante. Les connaissances écrites manuellement aident, mais sont laborieuses et inefficaces. Pour relever ces défis, nous présentons Mobile-Agent-V, un framework qui exploite le guidage vidéo pour fournir une connaissance opérationnelle riche et économique pour l'automatisation mobile. Mobile-Agent-V améliore les capacités d'exécution des tâches en utilisant des entrées vidéo sans nécessiter d'échantillonnage ou de prétraitement spécialisé. Mobile-Agent-V intègre une stratégie de fenêtre glissante et incorpore un agent vidéo et un agent de réflexion profonde pour s'assurer que les actions correspondent aux instructions de l'utilisateur. Grâce à cette approche innovante, les utilisateurs peuvent enregistrer des processus de tâches avec guidage, permettant au système d'apprendre et d'exécuter les tâches de manière autonome et efficace. Les résultats expérimentaux montrent que Mobile-Agent-V obtient une amélioration de performance de 30 % par rapport aux frameworks existants.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.