DaMo: Ottimizzatore di Mixing dei Dati nel Fine-tuning di LLM Multimodali per Agenti su Telefoni Mobili

Abstract

Gli Agenti per Telefoni Mobili (MPA) sono emersi come una promettente direzione di ricerca grazie alla loro ampia applicabilità in scenari diversificati. Sebbene i Modelli Linguistici Multimodali di Grande Dimensione (MLLM) costituiscano la base per gli MPA, la loro efficacia nel gestire contemporaneamente più attività sui telefoni mobili rimane limitata. Nonostante il fine-tuning supervisionato multitask (SFT) sia ampiamente adottato per l'apprendimento multitask, gli approcci esistenti faticano a determinare le composizioni ottimali dei dati di training per ottenere prestazioni massime. Per affrontare questa sfida, proponiamo DaMo (Data Mixture Optimizer) - una soluzione innovativa che utilizza una rete addestrabile per prevedere le miscele ottimali di dati, stimando le prestazioni delle attività downstream per qualsiasi rapporto di dataset. Per supportare una valutazione completa, introduciamo PhoneAgentBench, il primo benchmark specializzato per valutare gli MLLM su attività multimodali per telefoni mobili, comprendente 1235 coppie di domande e risposte che coprono diversi scenari reali di applicazioni industriali mobili. Dimostrando una forte capacità predittiva (R^2=0.81) in esperimenti pilota su piccola scala, DaMo estrapola in modo efficiente le configurazioni ottimali di miscelazione dei dati. I nostri risultati mostrano che DaMo ottiene un miglioramento delle prestazioni del 3.38% su PhoneAgentBench rispetto ai metodi alternativi. Inoltre, esperimenti estesi su benchmark consolidati come BFCL-v3, MME-Reasoning, MME-Perception e OCRBench rivelano la superiore generalizzazione di DaMo, superando altri approcci del 2.57% in termini di punteggio medio. Quando utilizzato esclusivamente per l'ottimizzazione degli MLLM sul task BFCL-v3, DaMo migliora le metriche del 12.47% rispetto ad altri metodi. È importante notare che DaMo mantiene una robusta scalabilità, preservando la sua efficacia quando applicato ad altre architetture di modelli. Il codice e il dataset sono disponibili all'indirizzo https://github.com/OPPO-Mente-Lab/DaMo.git.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Ottimizzatore di Mixing dei Dati nel Fine-tuning di LLM Multimodali per Agenti su Telefoni Mobili

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Abstract

Support