SHAKTI: Un modelo de lenguaje pequeño con 2.5 mil millones de parámetros optimizado para la inteligencia artificial en el borde y entornos de recursos limitados.

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024

Autores: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti

cs.AI

Resumen

Presentamos Shakti, un modelo de lenguaje de 2.5 mil millones de parámetros específicamente optimizado para entornos con recursos limitados como dispositivos periféricos, incluidos teléfonos inteligentes, dispositivos ponibles y sistemas IoT. Shakti combina un NLP de alto rendimiento con eficiencia y precisión optimizadas, lo que lo hace ideal para aplicaciones de IA en tiempo real donde los recursos computacionales y la memoria son limitados. Con soporte para idiomas vernáculos y tareas específicas de dominio, Shakti sobresale en industrias como la salud, finanzas y servicio al cliente. Las evaluaciones de referencia demuestran que Shakti tiene un rendimiento competitivo frente a modelos más grandes, manteniendo una baja latencia y eficiencia en el dispositivo, lo que lo posiciona como una solución líder para la IA periférica.

English

We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.