Affinage de petits modèles de langage pour l'IA spécifique à un domaine : une perspective d'IA en périphérie

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Auteurs: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Résumé

Le déploiement de modèles linguistiques à grande échelle sur des appareils périphériques se heurte à des défis inhérents tels que des exigences computationnelles élevées, une consommation énergétique importante et des risques potentiels pour la confidentialité des données. Cet article présente les modèles linguistiques compacts Shakti (SLMs) Shakti-100M, Shakti-250M et Shakti-500M, conçus pour relever ces contraintes de front. En combinant des architectures efficaces, des techniques de quantification et des principes d'IA responsable, la série Shakti permet une intelligence embarquée pour les smartphones, les appareils intelligents, les systèmes IoT et au-delà. Nous offrons des insights complets sur leur philosophie de conception, leurs pipelines d'entraînement et leurs performances de référence sur des tâches générales (par exemple, MMLU, Hellaswag) et des domaines spécialisés (santé, finance et juridique). Nos résultats démontrent que des modèles compacts, lorsqu'ils sont soigneusement conçus et affinés, peuvent répondre et souvent dépasser les attentes dans des scénarios réels d'IA périphérique.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.