ドメイン特化型AIのための小型言語モデルのファインチューニング：エッジAIの視点から

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

著者: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

要旨

エッジデバイスに大規模言語モデルを展開する際には、高い計算要求、エネルギー消費、そして潜在的なデータプライバシーリスクといった固有の課題が存在します。本論文では、これらの制約に正面から取り組むShakti Small Language Models (SLMs)であるShakti-100M、Shakti-250M、Shakti-500Mを紹介します。効率的なアーキテクチャ、量子化技術、そして責任あるAI原則を組み合わせることで、Shaktiシリーズはスマートフォン、スマート家電、IoTシステムなどにおけるオンデバイスインテリジェンスを実現します。我々は、その設計哲学、トレーニングパイプライン、および一般タスク（例：MMLU、Hellaswag）や専門領域（医療、金融、法律）におけるベンチマーク性能について包括的な洞察を提供します。我々の研究結果は、注意深く設計されファインチューニングされたコンパクトモデルが、現実世界のエッジAIシナリオにおいて期待を上回ることがしばしばあることを示しています。

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.