Imp: Zeer Capabele Grote Multimodale Modellen voor Mobiele Apparaten

Samenvatting

Door de mogelijkheden van grote taalmodel(len) (LLMs) te benutten, hebben recente grote multimodale modellen (LMMs) opmerkelijke veelzijdigheid getoond in open-wereld multimodale begrip. Desalniettemin zijn ze meestal parameterzwaar en rekenintensief, wat hun toepasbaarheid in scenario's met beperkte middelen belemmert. Om dit aan te pakken, zijn er verschillende lichtgewicht LMMs achter elkaar voorgesteld om de mogelijkheden onder een beperkte schaal (bijv. 3B) te maximaliseren. Ondanks de bemoedigende resultaten die met deze methoden zijn behaald, richten de meeste zich slechts op één of twee aspecten van de ontwerpruimte, en zijn de belangrijkste ontwerpkeuzes die de modelcapaciteit beïnvloeden nog niet grondig onderzocht. In dit artikel voeren we een systematische studie uit naar lichtgewicht LMMs vanuit de aspecten van modelarchitectuur, trainingsstrategie en trainingsdata. Op basis van onze bevindingen verkrijgen we Imp -- een familie van zeer capabele LMMs op de 2B-4B schaal. Opmerkelijk is dat ons Imp-3B model consequent alle bestaande lichtgewicht LMMs van vergelijkbare grootte overtreft, en zelfs de state-of-the-art LMMs op de 13B schaal overstijgt. Met low-bit kwantisatie en resolutieverlagende technieken kan ons Imp-model worden geïmplementeerd op een Qualcomm Snapdragon 8Gen3 mobiele chip met een hoge inferentiesnelheid van ongeveer 13 tokens/s.

English

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp -- a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.

Imp: Zeer Capabele Grote Multimodale Modellen voor Mobiele Apparaten

Imp: Highly Capable Large Multimodal Models for Mobile Devices

Samenvatting

Support