SlimLM: Un Modelo de Lenguaje Pequeño Eficiente para la Asistencia de Documentos en Dispositivos.

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Autores: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Resumen

Si bien los modelos de lenguaje pequeños (SLMs) muestran promesas para su implementación en dispositivos móviles, su rendimiento y aplicaciones en el mundo real en teléfonos inteligentes siguen siendo poco explorados. Presentamos SlimLM, una serie de SLMs optimizados para tareas de asistencia documental en dispositivos móviles. A través de experimentos exhaustivos en un Samsung Galaxy S24, identificamos los compromisos óptimos entre el tamaño del modelo (que varía de 125M a 7B parámetros), la longitud del contexto y el tiempo de inferencia para un procesamiento eficiente en el dispositivo. SlimLM se pre-entrena en SlimPajama-627B y se ajusta finamente en DocAssist, nuestro conjunto de datos construido para tareas de resumen, respuesta a preguntas y sugerencias. Nuestro modelo más pequeño demuestra un rendimiento eficiente en S24, mientras que las variantes más grandes ofrecen capacidades mejoradas dentro de las limitaciones móviles. Evaluamos SlimLM frente a SLMs existentes, mostrando un rendimiento comparable o superior y ofreciendo un punto de referencia para futuras investigaciones en modelos de lenguaje en dispositivos. También proporcionamos una aplicación para Android, que ofrece ideas prácticas sobre la implementación de SLMs. Nuestros hallazgos ofrecen información valiosa e iluminan las capacidades de ejecutar modelos de lenguaje avanzados en teléfonos inteligentes de alta gama, lo que potencialmente reduce los costos del servidor y mejora la privacidad a través del procesamiento en el dispositivo.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.