DaMo: Data Mixing Optimizer voor het Fine-tunen van Multimodale LLM's voor Mobiele Telefoonagenten

Samenvatting

Mobile Phone Agents (MPA's) zijn ontstaan als een veelbelovende onderzoeksrichting vanwege hun brede toepasbaarheid in diverse scenario's. Hoewel Multimodale Large Language Models (MLLM's) de basis vormen voor MPA's, blijft hun effectiviteit in het gelijktijdig uitvoeren van meerdere mobiele telefoontaken beperkt. Hoewel multitask supervised fine-tuning (SFT) veel wordt gebruikt voor multitask learning, hebben bestaande benaderingen moeite om optimale trainingsdatasamenstellingen te bepalen voor maximale prestaties. Om deze uitdaging aan te pakken, stellen we DaMo (Data Mixture Optimizer) voor – een innovatieve oplossing die gebruikmaakt van een trainbaar netwerk dat optimale datamengsels voorspelt door de prestaties van downstream taken te voorspellen voor elke gegeven datasetratio. Om een uitgebreide evaluatie mogelijk te maken, introduceren we PhoneAgentBench, de eerste gespecialiseerde benchmark om MLLM's te evalueren op multimodale mobiele telefoontaken, bestaande uit 1235 vraag-antwoordparen die diverse real-world industriële mobiele applicatiescenario's beslaan. DaMo toont een sterke voorspellende capaciteit (R^2=0.81) in kleinschalige pilootexperimenten en extrapoleert efficiënt optimale datamengconfiguraties. Onze resultaten laten zien dat DaMo een prestatieverbetering van 3,38% behaalt op PhoneAgentBench in vergelijking met alternatieve methoden. Bovendien onthullen uitgebreide experimenten op gevestigde benchmarks, waaronder BFCL-v3, MME-Reasoning, MME-Perception en OCRBench, de superieure generalisatie van DaMo, die andere benaderingen met 2,57% overtreft in termen van gemiddelde score. Wanneer DaMo uitsluitend wordt gebruikt voor MLLM-optimalisatie op de BFCL-v3-taak, verbetert het de metingen met 12,47% ten opzichte van andere methoden. Opmerkelijk is dat DaMo robuuste schaalbaarheid behoudt en zijn effectiviteit behoudt wanneer het wordt toegepast op andere modelarchitecturen. De code en dataset zijn beschikbaar op https://github.com/OPPO-Mente-Lab/DaMo.git.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Data Mixing Optimizer voor het Fine-tunen van Multimodale LLM's voor Mobiele Telefoonagenten

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Samenvatting

Support