Feinabstimmung kleiner Sprachmodelle für domänenspezifische KI: Eine Edge-KI-Perspektive

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Autoren: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Zusammenfassung

Die Bereitstellung von großskaligen Sprachmodellen auf Edge-Geräten steht vor inhärenten Herausforderungen wie hohen Rechenanforderungen, Energieverbrauch und potenziellen Datenschutzrisiken. Dieses Papier stellt die Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M und Shakti-500M vor, die diese Einschränkungen gezielt angehen. Durch die Kombination effizienter Architekturen, Quantisierungstechniken und verantwortungsvoller KI-Prinzipien ermöglicht die Shakti-Serie On-Device-Intelligenz für Smartphones, intelligente Haushaltsgeräte, IoT-Systeme und mehr. Wir bieten umfassende Einblicke in ihre Designphilosophie, Trainingspipelines und Benchmark-Leistungen sowohl bei allgemeinen Aufgaben (z. B. MMLU, Hellaswag) als auch in spezialisierten Domänen (Gesundheitswesen, Finanzen und Recht). Unsere Ergebnisse zeigen, dass kompakte Modelle, wenn sie sorgfältig entwickelt und feinabgestimmt werden, die Erwartungen in realen Edge-AI-Szenarien erfüllen und oft übertreffen können.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.