MobileVLM : Un assistant vision-langage rapide, reproductible et performant pour les appareils mobiles

MobileVLM : A Fast, Reproducible and Strong Vision Language Assistant for Mobile Devices

December 28, 2023

Auteurs: Xiangxiang Chu, Limeng Qiao, Xinyang Lin, Shuang Xu, Yang Yang, Yiming Hu, Fei Wei, Xinyu Zhang, Bo Zhang, Xiaolin Wei, Chunhua Shen

cs.AI

Résumé

Nous présentons MobileVLM, un modèle multimodal vision-langage (MMVLM) performant conçu pour fonctionner sur des appareils mobiles. Il s'agit d'une combinaison de multiples architectures et techniques orientées vers les mobiles, comprenant un ensemble de modèles linguistiques de 1,4 milliard et 2,7 milliards de paramètres, entraînés à partir de zéro, un modèle de vision multimodal pré-entraîné à la manière de CLIP, et une interaction intermodale via un projecteur efficace. Nous évaluons MobileVLM sur plusieurs benchmarks typiques des modèles vision-langage. Nos modèles démontrent des performances comparables à celles de modèles beaucoup plus volumineux. Plus important encore, nous mesurons la vitesse d'inférence sur un processeur Qualcomm Snapdragon 888 et un GPU NVIDIA Jetson Orin, obtenant des performances de pointe de 21,5 et 65,3 tokens par seconde, respectivement. Notre code sera disponible à l'adresse suivante : https://github.com/Meituan-AutoML/MobileVLM.

English

We present MobileVLM, a competent multimodal vision language model (MMVLM) targeted to run on mobile devices. It is an amalgamation of a myriad of architectural designs and techniques that are mobile-oriented, which comprises a set of language models at the scale of 1.4B and 2.7B parameters, trained from scratch, a multimodal vision model that is pre-trained in the CLIP fashion, cross-modality interaction via an efficient projector. We evaluate MobileVLM on several typical VLM benchmarks. Our models demonstrate on par performance compared with a few much larger models. More importantly, we measure the inference speed on both a Qualcomm Snapdragon 888 CPU and an NVIDIA Jeston Orin GPU, and we obtain state-of-the-art performance of 21.5 tokens and 65.3 tokens per second, respectively. Our code will be made available at: https://github.com/Meituan-AutoML/MobileVLM.