DaMo: Оптимизатор смешивания данных при тонкой настройке мультимодальных больших языковых моделей для мобильных агентов

Аннотация

Мобильные телефонные агенты (MPAs) стали перспективным направлением исследований благодаря их широкой применимости в различных сценариях. Хотя мультимодальные большие языковые модели (MLLMs) служат основой для MPAs, их эффективность в одновременном выполнении множества задач на мобильных устройствах остается ограниченной. Хотя многозадачное обучение с контролируемой тонкой настройкой (SFT) широко используется для многозадачного обучения, существующие подходы испытывают трудности с определением оптимального состава обучающих данных для достижения максимальной производительности. Для решения этой проблемы мы предлагаем DaMo (Data Mixture Optimizer) — новое решение, использующее обучаемую сеть, которая предсказывает оптимальные смеси данных, прогнозируя производительность на последующих задачах для любого заданного соотношения данных. Для поддержки всесторонней оценки мы представляем PhoneAgentBench — первый специализированный бенчмарк для оценки MLLMs на мультимодальных задачах мобильных устройств, включающий 1235 пар вопросов и ответов, охватывающих разнообразные реальные сценарии промышленных мобильных приложений. Продемонстрировав высокую прогностическую способность (R^2=0.81) в небольших пилотных экспериментах, DaMo эффективно экстраполирует оптимальные конфигурации смешивания данных. Наши результаты показывают, что DaMo обеспечивает улучшение производительности на 3.38% на PhoneAgentBench по сравнению с альтернативными методами. Кроме того, обширные эксперименты на устоявшихся бенчмарках, включая BFCL-v3, MME-Reasoning, MME-Perception и OCRBench, выявляют превосходную обобщающую способность DaMo, превосходящую другие подходы на 2.57% по среднему баллу. При использовании исключительно для оптимизации MLLMs на задаче BFCL-v3, DaMo улучшает метрики на 12.47% по сравнению с другими методами. Примечательно, что DaMo сохраняет устойчивую масштабируемость, сохраняя свою эффективность при применении к другим архитектурам моделей. Код и набор данных доступны по адресу https://github.com/OPPO-Mente-Lab/DaMo.git.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Оптимизатор смешивания данных при тонкой настройке мультимодальных больших языковых моделей для мобильных агентов

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Аннотация

Support