Wichtig: Hochleistungsfähige große multimodale Modelle für mobile Geräte

Imp: Highly Capable Large Multimodal Models for Mobile Devices

May 20, 2024

Autoren: Zhenwei Shao, Zhou Yu, Jun Yu, Xuecheng Ouyang, Lihao Zheng, Zhenbiao Gai, Mingyang Wang, Jiajun Ding

cs.AI

Zusammenfassung

Durch die Nutzung der Fähigkeiten großer Sprachmodelle (LLMs) haben jüngste große multimodale Modelle (LMMs) eine bemerkenswerte Vielseitigkeit in der multimodalen Verständnis in offenen Welten gezeigt. Dennoch sind sie in der Regel parameterlastig und rechenintensiv, was ihre Anwendbarkeit in ressourcenbeschränkten Szenarien behindert. Zu diesem Zweck wurden nacheinander mehrere leichte LMMs vorgeschlagen, um die Fähigkeiten unter begrenzter Skala (z. B. 3B) zu maximieren. Trotz der ermutigenden Ergebnisse, die durch diese Methoden erzielt wurden, konzentrieren sich die meisten von ihnen nur auf ein oder zwei Aspekte des Designraums, und die Schlüsselentscheidungen, die die Modellfähigkeit beeinflussen, wurden noch nicht gründlich untersucht. In diesem Artikel führen wir eine systematische Studie für leichte LMMs durch, die die Aspekte der Modellarchitektur, Trainingsstrategie und Trainingsdaten umfasst. Basierend auf unseren Ergebnissen erhalten wir Imp - eine Familie von hochfähigen LMMs im Maßstab von 2B-4B. Bemerkenswert übertrifft unser Imp-3B-Modell kontinuierlich alle vorhandenen leichten LMMs ähnlicher Größe und übertrifft sogar die modernsten LMMs im Maßstab von 13B. Mit Niedrigbit-Quantisierungs- und Auflösungsreduktionstechniken kann unser Imp-Modell auf einem Qualcomm Snapdragon 8Gen3-Mobilchip mit einer hohen Inferenzgeschwindigkeit von etwa 13 Token/s eingesetzt werden.

English

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp -- a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.