Mobile-Agent-V: Lernen der Bedienung mobiler Geräte durch video-geführte Multi-Agenten-Zusammenarbeit

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Autoren: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Zusammenfassung

Der rasante Anstieg der Nutzung mobiler Geräte erfordert eine verbesserte Automatisierung für nahtloses Aufgabenmanagement. Viele KI-gesteuerte Frameworks haben jedoch Schwierigkeiten aufgrund unzureichenden operationellen Wissens. Manuell verfasstes Wissen hilft, ist jedoch arbeitsintensiv und ineffizient. Um diese Herausforderungen anzugehen, stellen wir Mobile-Agent-V vor, ein Framework, das Videoanleitungen nutzt, um umfassendes und kostengünstiges operationelles Wissen für die mobile Automatisierung bereitzustellen. Mobile-Agent-V verbessert die Fähigkeiten zur Aufgabenausführung, indem es Videoeingaben nutzt, ohne spezialisierte Abtastung oder Vorverarbeitung zu erfordern. Mobile-Agent-V integriert eine Schiebefensterstrategie und beinhaltet einen Video-Agent und einen Tiefreflexions-Agenten, um sicherzustellen, dass die Aktionen mit den Benutzeranweisungen übereinstimmen. Durch diesen innovativen Ansatz können Benutzer Aufgabenprozesse mit Anleitung aufzeichnen, was es dem System ermöglicht, eigenständig zu lernen und Aufgaben effizient auszuführen. Experimentelle Ergebnisse zeigen, dass Mobile-Agent-V im Vergleich zu bestehenden Frameworks eine Leistungssteigerung von 30% erzielt.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.