DaMo: モバイルフォンエージェント向けマルチモーダルLLMのファインチューニングにおけるデータミキシング最適化

要旨

モバイルフォンエージェント（MPAs）は、多様なシナリオに広く適用可能であることから、有望な研究分野として注目を集めています。マルチモーダル大規模言語モデル（MLLMs）はMPAsの基盤となっていますが、複数のモバイルフォンタスクを同時に処理する効果性には限界があります。マルチタスク教師ありファインチューニング（SFT）はマルチタスク学習に広く採用されていますが、既存のアプローチでは最適なトレーニングデータ構成を決定することが困難です。この課題に対処するため、我々はDaMo（Data Mixture Optimizer）を提案します。DaMoは、任意のデータセット比率に対する下流タスクの性能を予測することで最適なデータ混合を予測する学習可能なネットワークを採用した新しいソリューションです。包括的な評価を支援するため、我々はPhoneAgentBenchを導入しました。これは、多様な実世界の産業用モバイルアプリケーションシナリオにまたがる1235のQAペアから構成される、マルチモーダルモバイルフォンタスクにおけるMLLMsを評価する初の専門ベンチマークです。小規模なパイロット実験で強力な予測能力（R^2=0.81）を示したDaMoは、最適なデータ混合構成を効率的に外挿します。我々の結果は、DaMoがPhoneAgentBenchにおいて他の手法と比較して3.38%の性能向上を達成することを示しています。さらに、BFCL-v3、MME-Reasoning、MME-Perception、OCRBenchなどの確立されたベンチマークでの広範な実験により、DaMoの優れた汎化能力が明らかになり、平均スコアで他のアプローチを2.57%上回りました。BFCL-v3タスクにおいてMLLMの最適化にのみ使用された場合、DaMoは他の手法よりも12.47%メトリクスを改善しました。特に、DaMoは他のモデルアーキテクチャに適用された場合でもその有効性を維持し、堅牢なスケーラビリティを示しています。コードとデータセットはhttps://github.com/OPPO-Mente-Lab/DaMo.gitで公開されています。

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: モバイルフォンエージェント向けマルチモーダルLLMのファインチューニングにおけるデータミキシング最適化

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

要旨

Support