Shakti-VLMs: Modelos Visão-Linguagem Escaláveis para IA Empresarial

Shakti-VLMs: Scalable Vision-Language Models for Enterprise AI

February 24, 2025

Autores: Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Resumo

Apresentamos o Shakti VLM, uma família de modelos de visão e linguagem com capacidades de 1B e 4B de parâmetros, projetados para enfrentar os desafios de eficiência de dados no aprendizado multimodal. Embora os VLMs recentes alcancem um desempenho robusto por meio de grandes volumes de dados de treinamento, os modelos Shakti aproveitam inovações arquitetônicas para obter resultados competitivos com menos tokens. Avanços-chave incluem a QK-Normalização para estabilidade da atenção, técnicas híbridas de normalização e codificação posicional aprimorada. Uma estratégia de treinamento em três etapas otimiza ainda mais a eficiência do aprendizado. As avaliações mostram que o Shakti-VLM-1B e o Shakti-VLM-4B se destacam em compreensão de documentos, raciocínio visual, extração de OCR e raciocínio multimodal geral. Nossos resultados destacam que alto desempenho pode ser alcançado por meio de design de modelo e estratégia de treinamento, em vez de volume massivo de dados, tornando o Shakti uma solução eficiente para tarefas multimodais em escala empresarial.

English

We introduce Shakti VLM, a family of vision-language models in the capacity of 1B and 4B parameters designed to address data efficiency challenges in multimodal learning. While recent VLMs achieve strong performance through extensive training data, Shakti models leverage architectural innovations to attain competitive results with fewer tokens. Key advancements include QK-Normalization for attention stability, hybrid normalization techniques, and enhanced positional encoding. A three-stage training strategy further optimizes learning efficiency. Evaluations show that Shakti-Shakti-VLM-1B and Shakti-VLM-4B excel in document understanding, Visual Reasoning, OCR extraction, and general multimodal reasoning. Our results highlight that high performance can be achieved through model design and training strategy rather than sheer data volume, making Shakti an efficient solution for enterprise-scale multimodal tasks.