Mobile-Agent-V: Apprendimento delle Operazioni su Dispositivi Mobili Attraverso la Collaborazione Multi-Agente Guidata da Video

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Autori: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Abstract

Il rapido aumento dell'utilizzo dei dispositivi mobili richiede un miglioramento dell'automazione per una gestione fluida delle attività. Tuttavia, molti framework basati sull'intelligenza artificiale incontrano difficoltà a causa di una conoscenza operativa insufficiente. La conoscenza scritta manualmente è utile, ma richiede molto lavoro ed è inefficiente. Per affrontare queste sfide, introduciamo Mobile-Agent-V, un framework che sfrutta la guida video per fornire una conoscenza operativa ricca ed economica per l'automazione mobile. Mobile-Agent-V migliora le capacità di esecuzione delle attività utilizzando input video senza richiedere campionamenti specializzati o pre-elaborazioni. Mobile-Agent-V integra una strategia di finestra scorrevole e incorpora un agente video e un agente di riflessione profonda per garantire che le azioni siano allineate con le istruzioni dell'utente. Attraverso questo approccio innovativo, gli utenti possono registrare i processi delle attività con guida, consentendo al sistema di apprendere ed eseguire le attività in modo autonomo ed efficiente. I risultati sperimentali mostrano che Mobile-Agent-V raggiunge un miglioramento delle prestazioni del 30% rispetto ai framework esistenti.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.