MobileVLM: Un Assistente Visivo-Linguistico Veloce, Riproducibile e Potente per Dispositivi Mobili

MobileVLM : A Fast, Reproducible and Strong Vision Language Assistant for Mobile Devices

December 28, 2023

Autori: Xiangxiang Chu, Limeng Qiao, Xinyang Lin, Shuang Xu, Yang Yang, Yiming Hu, Fei Wei, Xinyu Zhang, Bo Zhang, Xiaolin Wei, Chunhua Shen

cs.AI

Abstract

Presentiamo MobileVLM, un modello multimodale visione-linguaggio (MMVLM) competente progettato per funzionare su dispositivi mobili. Si tratta di un'amalgama di una vasta gamma di design architetturali e tecniche orientate al mobile, che comprende un insieme di modelli linguistici con una scala di 1,4 miliardi e 2,7 miliardi di parametri, addestrati da zero, un modello di visione multimodale pre-addestrato nello stile CLIP, e un'interazione cross-modalità tramite un proiettore efficiente. Valutiamo MobileVLM su diversi benchmark tipici per VLM. I nostri modelli dimostrano prestazioni paragonabili a quelle di alcuni modelli molto più grandi. Ancora più importante, misuriamo la velocità di inferenza sia su una CPU Qualcomm Snapdragon 888 che su una GPU NVIDIA Jetson Orin, ottenendo prestazioni all'avanguardia rispettivamente di 21,5 token e 65,3 token al secondo. Il nostro codice sarà reso disponibile all'indirizzo: https://github.com/Meituan-AutoML/MobileVLM.

English

We present MobileVLM, a competent multimodal vision language model (MMVLM) targeted to run on mobile devices. It is an amalgamation of a myriad of architectural designs and techniques that are mobile-oriented, which comprises a set of language models at the scale of 1.4B and 2.7B parameters, trained from scratch, a multimodal vision model that is pre-trained in the CLIP fashion, cross-modality interaction via an efficient projector. We evaluate MobileVLM on several typical VLM benchmarks. Our models demonstrate on par performance compared with a few much larger models. More importantly, we measure the inference speed on both a Qualcomm Snapdragon 888 CPU and an NVIDIA Jeston Orin GPU, and we obtain state-of-the-art performance of 21.5 tokens and 65.3 tokens per second, respectively. Our code will be made available at: https://github.com/Meituan-AutoML/MobileVLM.