Shakti-VLMs: Modelos Escalables de Visión y Lenguaje para IA Empresarial

Shakti-VLMs: Scalable Vision-Language Models for Enterprise AI

February 24, 2025

Autores: Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Resumen

Presentamos Shakti VLM, una familia de modelos de visión y lenguaje con capacidades de 1B y 4B parámetros, diseñada para abordar los desafíos de eficiencia en el aprendizaje multimodal. Si bien los modelos VLM recientes logran un rendimiento sólido mediante el uso de grandes volúmenes de datos de entrenamiento, los modelos Shakti aprovechan innovaciones arquitectónicas para alcanzar resultados competitivos con menos tokens. Los avances clave incluyen la QK-Normalización para la estabilidad de la atención, técnicas híbridas de normalización y codificaciones posicionales mejoradas. Una estrategia de entrenamiento en tres etapas optimiza aún más la eficiencia del aprendizaje. Las evaluaciones muestran que Shakti-VLM-1B y Shakti-VLM-4B sobresalen en comprensión de documentos, razonamiento visual, extracción OCR y razonamiento multimodal general. Nuestros resultados destacan que se puede lograr un alto rendimiento mediante el diseño del modelo y la estrategia de entrenamiento, en lugar de depender únicamente del volumen de datos, lo que convierte a Shakti en una solución eficiente para tareas multimodales a escala empresarial.

English

We introduce Shakti VLM, a family of vision-language models in the capacity of 1B and 4B parameters designed to address data efficiency challenges in multimodal learning. While recent VLMs achieve strong performance through extensive training data, Shakti models leverage architectural innovations to attain competitive results with fewer tokens. Key advancements include QK-Normalization for attention stability, hybrid normalization techniques, and enhanced positional encoding. A three-stage training strategy further optimizes learning efficiency. Evaluations show that Shakti-Shakti-VLM-1B and Shakti-VLM-4B excel in document understanding, Visual Reasoning, OCR extraction, and general multimodal reasoning. Our results highlight that high performance can be achieved through model design and training strategy rather than sheer data volume, making Shakti an efficient solution for enterprise-scale multimodal tasks.