Shakti-VLM : Modèles vision-langage évolutifs pour l'IA d'entreprise

Shakti-VLMs: Scalable Vision-Language Models for Enterprise AI

February 24, 2025

Auteurs: Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Résumé

Nous présentons Shakti VLM, une famille de modèles vision-langage dotés de 1 et 4 milliards de paramètres, conçus pour relever les défis d'efficacité des données dans l'apprentissage multimodal. Alors que les modèles VLM récents atteignent des performances élevées grâce à des volumes massifs de données d'entraînement, les modèles Shakti exploitent des innovations architecturales pour obtenir des résultats compétitifs avec moins de tokens. Les avancées clés incluent la QK-Normalisation pour la stabilité de l'attention, des techniques de normalisation hybrides et un encodage positionnel amélioré. Une stratégie d'entraînement en trois étapes optimise davantage l'efficacité de l'apprentissage. Les évaluations montrent que Shakti-VLM-1B et Shakti-VLM-4B excellent dans la compréhension de documents, le raisonnement visuel, l'extraction OCR et le raisonnement multimodal général. Nos résultats soulignent que des performances élevées peuvent être atteintes grâce à la conception du modèle et à la stratégie d'entraînement plutôt qu'au simple volume de données, faisant de Shakti une solution efficace pour les tâches multimodales à l'échelle des entreprises.

English

We introduce Shakti VLM, a family of vision-language models in the capacity of 1B and 4B parameters designed to address data efficiency challenges in multimodal learning. While recent VLMs achieve strong performance through extensive training data, Shakti models leverage architectural innovations to attain competitive results with fewer tokens. Key advancements include QK-Normalization for attention stability, hybrid normalization techniques, and enhanced positional encoding. A three-stage training strategy further optimizes learning efficiency. Evaluations show that Shakti-Shakti-VLM-1B and Shakti-VLM-4B excel in document understanding, Visual Reasoning, OCR extraction, and general multimodal reasoning. Our results highlight that high performance can be achieved through model design and training strategy rather than sheer data volume, making Shakti an efficient solution for enterprise-scale multimodal tasks.