SHAKTI: Un modello linguistico di piccole dimensioni con 2,5 miliardi di parametri ottimizzato per l'AI su dispositivi edge e ambienti a bassa risorsa.

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024

Autori: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti

cs.AI

Abstract

Introduciamo Shakti, un modello linguistico con 2,5 miliardi di parametri ottimizzato specificamente per ambienti con risorse limitate come dispositivi periferici, inclusi smartphone, dispositivi indossabili e sistemi IoT. Shakti combina NLP ad alte prestazioni con efficienza e precisione ottimizzate, rendendolo ideale per applicazioni di intelligenza artificiale in tempo reale dove le risorse computazionali e la memoria sono limitate. Con il supporto per lingue vernacolari e compiti specifici del dominio, Shakti eccelle in settori come sanità, finanza e servizio clienti. Valutazioni di benchmark dimostrano che Shakti si comporta in modo competitivo rispetto a modelli più grandi mantenendo bassa latenza ed efficienza on-device, posizionandolo come una soluzione leader per l'AI periferica.

English

We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.