DaMo: Optimizador de Mezcla de Datos en el Ajuste Fino de Modelos de Lenguaje Multimodales para Agentes de Teléfonos Móviles

Resumen

Los Agentes de Teléfonos Móviles (MPAs, por sus siglas en inglés) han surgido como una dirección de investigación prometedora debido a su amplia aplicabilidad en diversos escenarios. Si bien los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) sirven como base para los MPAs, su efectividad para manejar múltiples tareas de teléfonos móviles simultáneamente sigue siendo limitada. Aunque el ajuste fino supervisado multitarea (SFT) se adopta ampliamente para el aprendizaje multitarea, los enfoques existentes luchan por determinar las composiciones óptimas de datos de entrenamiento para alcanzar el máximo rendimiento. Para abordar este desafío, proponemos DaMo (Optimizador de Mezcla de Datos), una solución novedosa que emplea una red entrenable que predice mezclas óptimas de datos al pronosticar el rendimiento de tareas posteriores para cualquier proporción de conjunto de datos dada. Para respaldar una evaluación integral, presentamos PhoneAgentBench, el primer punto de referencia especializado para evaluar MLLMs en tareas multimodales de teléfonos móviles, que comprende 1235 pares de preguntas y respuestas que abarcan diversos escenarios de aplicaciones móviles industriales del mundo real. Demostrando una fuerte capacidad predictiva (R^2=0.81) en experimentos piloto a pequeña escala, DaMo extrapola eficientemente configuraciones óptimas de mezcla de datos. Nuestros resultados muestran que DaMo logra una mejora del 3.38% en el rendimiento en PhoneAgentBench en comparación con métodos alternativos. Además, experimentos extensos en puntos de referencia establecidos, incluyendo BFCL-v3, MME-Razonamiento, MME-Percepción y OCRBench, revelan la superior generalización de DaMo, superando a otros enfoques en un 2.57% en términos de puntuación promedio. Cuando se utiliza exclusivamente para la optimización de MLLM en la tarea BFCL-v3, DaMo mejora las métricas en un 12.47% en comparación con otros métodos. Notablemente, DaMo mantiene una escalabilidad robusta, preservando su efectividad cuando se aplica a otras arquitecturas de modelos. El código y el conjunto de datos están disponibles en https://github.com/OPPO-Mente-Lab/DaMo.git.

English

Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git

DaMo: Optimizador de Mezcla de Datos en el Ajuste Fino de Modelos de Lenguaje Multimodales para Agentes de Teléfonos Móviles

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Resumen

Support