DaMo: Datenmischungsoptimierer zur Feinabstimmung multimodaler LLMs für Mobiltelefon-Agenten

papers.abstract

Mobile Phone Agents (MPAs) haben sich aufgrund ihrer breiten Anwendbarkeit in diversen Szenarien als vielversprechende Forschungsrichtung etabliert. Während Multimodale Large Language Models (MLLMs) die Grundlage für MPAs bilden, bleibt ihre Effektivität bei der gleichzeitigen Bearbeitung mehrerer Mobiltelefonaufgaben begrenzt. Obwohl Multitask Supervised Fine-Tuning (SFT) weit verbreitet für Multitask-Lernen eingesetzt wird, haben bestehende Ansätze Schwierigkeiten, optimale Trainingsdatenzusammensetzungen für Spitzenleistungen zu bestimmen. Um diese Herausforderung zu bewältigen, schlagen wir DaMo (Data Mixture Optimizer) vor – eine neuartige Lösung, die ein trainierbares Netzwerk verwendet, um optimale Datenmischungen durch die Vorhersage der Leistung nachgelagerter Aufgaben für beliebige Datensatzverhältnisse zu ermitteln. Zur Unterstützung einer umfassenden Evaluierung führen wir PhoneAgentBench ein, den ersten spezialisierten Benchmark zur Bewertung von MLLMs bei multimodalen Mobiltelefonaufgaben, der 1235 QA-Paare umfasst, die verschiedene reale industrielle Mobilanwendungsszenarien abdecken. DaMo zeigt in kleinskaligen Pilotexperimenten eine starke Vorhersagefähigkeit (R^2=0,81) und extrapoliert effizient optimale Datenmischungskonfigurationen. Unsere Ergebnisse zeigen, dass DaMo auf PhoneAgentBench eine Leistungssteigerung von 3,38 % im Vergleich zu alternativen Methoden erzielt. Darüber hinaus offenbaren umfangreiche Experimente auf etablierten Benchmarks wie BFCL-v3, MME-Reasoning, MME-Perception und OCRBench die überlegene Generalisierungsfähigkeit von DaMo, das andere Ansätze um 2,57 % im Durchschnittswert übertrifft. Bei der ausschließlichen Optimierung von MLLMs für die BFCL-v3-Aufgabe verbessert DaMo die Metriken um 12,47 % im Vergleich zu anderen Methoden. Bemerkenswerterweise behält DaMo eine robuste Skalierbarkeit bei und bewahrt seine Effektivität, wenn es auf andere Modellarchitekturen angewendet wird. Der Code und der Datensatz sind unter https://github.com/OPPO-Mente-Lab/DaMo.git verfügbar.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Datenmischungsoptimierer zur Feinabstimmung multimodaler LLMs für Mobiltelefon-Agenten

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

papers.abstract

Support