DaMo: Otimizador de Mistura de Dados no Ajuste Fino de LLMs Multimodais para Agentes de Celular

Resumo

Os Agentes de Telefone Móvel (MPAs) surgiram como uma direção de pesquisa promissora devido à sua ampla aplicabilidade em diversos cenários. Embora os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) sirvam como base para os MPAs, sua eficácia no gerenciamento de múltiplas tarefas de telefone móvel simultaneamente permanece limitada. Embora o ajuste fino supervisionado multitarefa (SFT) seja amplamente adotado para aprendizado multitarefa, as abordagens existentes lutam para determinar composições ideais de dados de treinamento para o desempenho máximo. Para enfrentar esse desafio, propomos o DaMo (Otimizador de Mistura de Dados) - uma solução inovadora que emprega uma rede treinável que prevê misturas ideais de dados ao prever o desempenho de tarefas subsequentes para qualquer proporção de conjunto de dados. Para apoiar uma avaliação abrangente, introduzimos o PhoneAgentBench, o primeiro benchmark especializado para avaliar MLLMs em tarefas multimodais de telefone móvel, compreendendo 1235 pares de perguntas e respostas que abrangem diversos cenários reais de aplicações industriais móveis. Demonstrando forte capacidade preditiva (R^2=0,81) em experimentos piloto de pequena escala, o DaMo extrapola eficientemente configurações ideais de mistura de dados. Nossos resultados mostram que o DaMo alcança uma melhoria de desempenho de 3,38% no PhoneAgentBench em comparação com métodos alternativos. Além disso, experimentos extensos em benchmarks estabelecidos, incluindo BFCL-v3, MME-Reasoning, MME-Perception e OCRBench, revelam a superior generalização do DaMo, superando outras abordagens em 2,57% em termos de pontuação média. Quando usado exclusivamente para otimização de MLLMs na tarefa BFCL-v3, o DaMo melhora as métricas em 12,47% em relação a outros métodos. Notavelmente, o DaMo mantém uma escalabilidade robusta, preservando sua eficácia quando aplicado a outras arquiteturas de modelo. O código e o conjunto de dados estão disponíveis em https://github.com/OPPO-Mente-Lab/DaMo.git.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Otimizador de Mistura de Dados no Ajuste Fino de LLMs Multimodais para Agentes de Celular

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Resumo

Support