Fijn afstemmen van kleine taalmodellen voor domeinspecifieke AI: een Edge AI-perspectief

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Auteurs: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Samenvatting

Het implementeren van grootschalige taalmodelen op edge-apparaten gaat gepaard met inherente uitdagingen, zoals hoge rekenkundige eisen, energieverbruik en potentiële risico's voor gegevensprivacy. Dit artikel introduceert de Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M en Shakti-500M, die deze beperkingen rechtstreeks aanpakken. Door efficiënte architecturen, kwantiserings-technieken en verantwoorde AI-principes te combineren, maakt de Shakti-serie on-device intelligentie mogelijk voor smartphones, slimme apparaten, IoT-systemen en meer. We bieden uitgebreide inzichten in hun ontwerpfilosofie, trainingspijplijnen en benchmarkprestaties op zowel algemene taken (bijv. MMLU, Hellaswag) als gespecialiseerde domeinen (gezondheidszorg, financiën en juridisch). Onze bevindingen tonen aan dat compacte modellen, wanneer ze zorgvuldig ontworpen en afgestemd zijn, aan de verwachtingen kunnen voldoen en deze vaak overtreffen in real-world edge-AI-scenario's.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.