SmolVLM : Redéfinir les modèles multimodaux compacts et efficacesSmolVLM: Redefining small and efficient multimodal models
Les grands modèles vision-langage (VLMs) offrent des performances exceptionnelles mais nécessitent d'importantes ressources computationnelles, limitant leur déploiement sur les appareils mobiles et périphériques. Les VLMs plus petits reprennent généralement les choix de conception des modèles plus grands, comme une tokenisation extensive des images, ce qui entraîne une utilisation inefficace de la mémoire GPU et une praticité limitée pour les applications embarquées. Nous présentons SmolVLM, une série de modèles multimodaux compacts spécialement conçus pour une inférence économe en ressources. Nous explorons systématiquement les configurations architecturales, les stratégies de tokenisation et la curation de données optimisées pour une faible surcharge computationnelle. Ce faisant, nous identifions des choix de conception clés qui génèrent des gains de performance substantiels sur les tâches d'images et de vidéos avec des empreintes mémoire minimales. Notre plus petit modèle, SmolVLM-256M, utilise moins de 1 Go de mémoire GPU lors de l'inférence et surpasse le modèle Idefics-80B, 300 fois plus grand, malgré un écart de développement de 18 mois. Notre plus grand modèle, avec 2,2 milliards de paramètres, rivalise avec les VLMs de pointe consommant deux fois plus de mémoire GPU. Les modèles SmolVLM vont au-delà des images statiques, démontrant des capacités robustes de compréhension vidéo. Nos résultats soulignent que des optimisations architecturales stratégiques, une tokenisation agressive mais efficace et des données d'entraînement soigneusement sélectionnées améliorent significativement les performances multimodales, facilitant des déploiements pratiques et économes en énergie à des échelles nettement plus réduites.