SlimLM: Эффективная небольшая языковая модель для помощи в работе с документами на устройстве.

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Авторы: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Аннотация

Хотя небольшие языковые модели (SLM) обещают для мобильного развертывания, их реальная производительность и применения на смартфонах остаются недостаточно исследованными. Мы представляем SlimLM, серию SLM, оптимизированных для задач помощи в документах на мобильных устройствах. Через обширные эксперименты на Samsung Galaxy S24 мы определяем оптимальные компромиссы между размером модели (в диапазоне от 125M до 7B параметров), длиной контекста и временем вывода для эффективной обработки на устройстве. SlimLM предварительно обучен на SlimPajama-627B и донастроен на DocAssist, нашем созданном наборе данных для задач суммирования, вопросно-ответных и предложений. Наша самая маленькая модель демонстрирует эффективную производительность на S24, в то время как более крупные варианты предлагают расширенные возможности в рамках мобильных ограничений. Мы оцениваем SlimLM по сравнению с существующими SLM, показывая сравнимую или превосходящую производительность и предлагая эталон для будущих исследований в области языковых моделей на устройствах. Мы также предоставляем приложение для Android, предлагая практические идеи для развертывания SLM. Наши результаты предоставляют ценные идеи и освещают возможности запуска передовых языковых моделей на смартфонах высокого уровня, что потенциально снижает затраты на серверы и улучшает конфиденциальность через обработку на устройстве.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.