Ottimizzazione Fine-Tuning di Modelli Linguistici di Piccole Dimensioni per l'IA Specifica di Dominio: Una Prospettiva di Edge AI

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Autori: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Abstract

Il dispiegamento di modelli linguistici su larga scala su dispositivi edge affronta sfide intrinseche come elevate richieste computazionali, consumo energetico e potenziali rischi per la privacy dei dati. Questo articolo introduce i modelli linguistici compatti Shakti (Shakti Small Language Models, SLMs) Shakti-100M, Shakti-250M e Shakti-500M, che affrontano direttamente questi vincoli. Combinando architetture efficienti, tecniche di quantizzazione e principi di intelligenza artificiale responsabile, la serie Shakti abilita l'intelligenza on-device per smartphone, elettrodomestici intelligenti, sistemi IoT e oltre. Forniamo approfondimenti completi sulla loro filosofia di progettazione, pipeline di addestramento e prestazioni benchmark sia su compiti generali (ad esempio, MMLU, Hellaswag) che su domini specializzati (sanità, finanza e giuridico). I nostri risultati dimostrano che modelli compatti, se progettati e ottimizzati con cura, possono soddisfare e spesso superare le aspettative negli scenari reali di edge-AI.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.