Shakti-VLMs: Modelli Visione-Linguaggio Scalabili per l'AI Aziendale

Shakti-VLMs: Scalable Vision-Language Models for Enterprise AI

February 24, 2025

Autori: Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Abstract

Presentiamo Shakti VLM, una famiglia di modelli visione-linguaggio con capacità di 1B e 4B parametri, progettata per affrontare le sfide di efficienza dei dati nell'apprendimento multimodale. Mentre i recenti VLM raggiungono prestazioni elevate attraverso un ampio volume di dati di addestramento, i modelli Shakti sfruttano innovazioni architetturali per ottenere risultati competitivi con un minor numero di token. Tra i progressi chiave figurano la QK-Normalization per la stabilità dell'attenzione, tecniche di normalizzazione ibrida e un miglioramento della codifica posizionale. Una strategia di addestramento in tre fasi ottimizza ulteriormente l'efficienza dell'apprendimento. Le valutazioni dimostrano che Shakti-VLM-1B e Shakti-VLM-4B eccellono nella comprensione di documenti, ragionamento visivo, estrazione OCR e ragionamento multimodale generale. I nostri risultati evidenziano come alte prestazioni possano essere raggiunte attraverso il design del modello e la strategia di addestramento piuttosto che il semplice volume di dati, rendendo Shakti una soluzione efficiente per attività multimodali su scala aziendale.

English

We introduce Shakti VLM, a family of vision-language models in the capacity of 1B and 4B parameters designed to address data efficiency challenges in multimodal learning. While recent VLMs achieve strong performance through extensive training data, Shakti models leverage architectural innovations to attain competitive results with fewer tokens. Key advancements include QK-Normalization for attention stability, hybrid normalization techniques, and enhanced positional encoding. A three-stage training strategy further optimizes learning efficiency. Evaluations show that Shakti-Shakti-VLM-1B and Shakti-VLM-4B excel in document understanding, Visual Reasoning, OCR extraction, and general multimodal reasoning. Our results highlight that high performance can be achieved through model design and training strategy rather than sheer data volume, making Shakti an efficient solution for enterprise-scale multimodal tasks.