SlimLM：オンデバイス文書支援用の効率的な小規模言語モデル

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

著者: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

要旨

小規模言語モデル（SLMs）はモバイル展開に有望性を示していますが、スマートフォンでの実世界でのパフォーマンスや応用は未だ未開拓の領域です。本研究では、モバイルデバイス上での文書支援タスクに最適化された一連のSLM、SlimLMを提案します。Samsung Galaxy S24での幅広い実験を通じて、モデルサイズ（125Mから7Bのパラメータまで）、コンテキスト長、推論時間の効率的なオンデバイス処理における最適なトレードオフを特定します。SlimLMはSlimPajama-627Bで事前学習され、要約、質問応答、提案タスク向けに構築された当社のデータセットであるDocAssistでファインチューニングされています。最小のモデルはS24で効率的なパフォーマンスを示し、より大きなバリエーションはモバイルの制約内で強化された機能を提供します。既存のSLMsとSlimLMを評価し、比較可能または優れたパフォーマンスを示し、オンデバイス言語モデルに関する将来の研究のためのベンチマークを提供します。また、SLMの展開に関する実用的な洞察を提供するAndroidアプリケーションも提供しています。我々の研究結果は、高性能スマートフォンでの高度な言語モデルの実行能力を明らかにし、サーバーコストを削減し、オンデバイス処理によるプライバシーの向上を可能にする貴重な洞察を提供しています。

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.