SHAKTI: Um Pequeno Modelo de Linguagem com 2,5 Bilhões de Parâmetros Otimizado para IA em Borda e Ambientes de Recursos Limitados

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024

Autores: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti

cs.AI

Resumo

Apresentamos o Shakti, um modelo de linguagem com 2,5 bilhões de parâmetros, otimizado especificamente para ambientes com recursos limitados, como dispositivos de borda, incluindo smartphones, dispositivos vestíveis e sistemas IoT. O Shakti combina NLP de alto desempenho com eficiência e precisão otimizadas, tornando-o ideal para aplicações de IA em tempo real onde os recursos computacionais e a memória são limitados. Com suporte para idiomas vernáculos e tarefas específicas de domínio, o Shakti se destaca em setores como saúde, finanças e atendimento ao cliente. Avaliações de referência demonstram que o Shakti tem desempenho competitivo em relação a modelos maiores, mantendo baixa latência e eficiência no dispositivo, posicionando-o como uma solução líder para IA de borda.

English

We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.