Ajuste Fino de Modelos de Lenguaje Pequeños para IA Específica de Dominio: Una Perspectiva de IA en el Edge

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Autores: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Resumen

La implementación de modelos de lenguaje a gran escala en dispositivos de borde enfrenta desafíos inherentes, como altas demandas computacionales, consumo de energía y posibles riesgos de privacidad de datos. Este artículo presenta los modelos de lenguaje pequeños Shakti (SLMs) Shakti-100M, Shakti-250M y Shakti-500M, que abordan directamente estas limitaciones. Al combinar arquitecturas eficientes, técnicas de cuantización y principios de IA responsable, la serie Shakti permite inteligencia en el dispositivo para smartphones, electrodomésticos inteligentes, sistemas IoT y más. Ofrecemos una visión detallada de su filosofía de diseño, flujos de entrenamiento y rendimiento en benchmarks tanto en tareas generales (por ejemplo, MMLU, Hellaswag) como en dominios especializados (salud, finanzas y legal). Nuestros hallazgos demuestran que los modelos compactos, cuando están cuidadosamente diseñados y ajustados, pueden cumplir y, a menudo, superar las expectativas en escenarios reales de IA en el borde.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.