SlimLM: Um Modelo de Linguagem Pequeno e Eficiente para Assistência de Documentos em Dispositivos.

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Autores: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Resumo

Embora os modelos de linguagem pequenos (SLMs) mostrem promessas para implantação em dispositivos móveis, seu desempenho e aplicações do mundo real em smartphones ainda são pouco explorados. Apresentamos o SlimLM, uma série de SLMs otimizados para tarefas de assistência de documentos em dispositivos móveis. Através de experimentos extensivos em um Samsung Galaxy S24, identificamos os trade-offs ótimos entre o tamanho do modelo (variando de 125M a 7B parâmetros), comprimento do contexto e tempo de inferência para processamento eficiente no dispositivo. O SlimLM é pré-treinado no SlimPajama-627B e ajustado no DocAssist, nosso conjunto de dados construído para tarefas de sumarização, resposta a perguntas e sugestões. Nosso menor modelo demonstra desempenho eficiente no S24, enquanto variantes maiores oferecem capacidades aprimoradas dentro das restrições móveis. Avaliamos o SlimLM em comparação com SLMs existentes, mostrando desempenho comparável ou superior e oferecendo um referencial para pesquisas futuras em modelos de linguagem em dispositivos. Também fornecemos um aplicativo Android, oferecendo insights práticos sobre a implantação de SLMs. Nossas descobertas fornecem insights valiosos e iluminam as capacidades de executar modelos de linguagem avançados em smartphones de alta qualidade, potencialmente reduzindo custos de servidor e aprimorando a privacidade através do processamento no dispositivo.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.