Imp : Modèles Multimodaux de Grande Capacité pour Appareils Mobiles

Imp: Highly Capable Large Multimodal Models for Mobile Devices

May 20, 2024

Auteurs: Zhenwei Shao, Zhou Yu, Jun Yu, Xuecheng Ouyang, Lihao Zheng, Zhenbiao Gai, Mingyang Wang, Jiajun Ding

cs.AI

Résumé

En exploitant les capacités des grands modèles de langage (LLMs), les récents modèles multimodaux de grande taille (LMMs) ont démontré une polyvalence remarquable dans la compréhension multimodale en monde ouvert. Néanmoins, ils sont généralement gourmands en paramètres et en calculs, ce qui limite leur applicabilité dans des scénarios à ressources contraintes. À cette fin, plusieurs LMMs légers ont été proposés successivement pour maximiser les capacités sous une échelle contrainte (par exemple, 3 milliards de paramètres). Malgré les résultats encourageants obtenus par ces méthodes, la plupart d'entre elles se concentrent uniquement sur un ou deux aspects de l'espace de conception, et les choix clés de conception qui influencent les capacités du modèle n'ont pas encore été approfondis. Dans cet article, nous menons une étude systématique des LMMs légers en examinant l'architecture du modèle, la stratégie d'entraînement et les données d'entraînement. Sur la base de nos découvertes, nous obtenons Imp -- une famille de LMMs très performants à l'échelle de 2 à 4 milliards de paramètres. Notamment, notre modèle Imp-3B surpasse de manière constante tous les LMMs légers existants de taille similaire, et dépasse même les LMMs de pointe à l'échelle de 13 milliards de paramètres. Grâce à des techniques de quantification en basse précision et de réduction de résolution, notre modèle Imp peut être déployé sur un processeur mobile Qualcomm Snapdragon 8Gen3 avec une vitesse d'inférence élevée d'environ 13 tokens par seconde.

English

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp -- a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.