Imp: Высокопроизводительные крупные мультимодальные модели для мобильных устройств

Imp: Highly Capable Large Multimodal Models for Mobile Devices

May 20, 2024

Авторы: Zhenwei Shao, Zhou Yu, Jun Yu, Xuecheng Ouyang, Lihao Zheng, Zhenbiao Gai, Mingyang Wang, Jiajun Ding

cs.AI

Аннотация

Путем использования возможностей крупных языковых моделей (LLM) недавние крупные мультимодальные модели (LMM) продемонстрировали замечательную гибкость в понимании мультимодальных данных в открытом мире. Тем не менее, они обычно требуют большого количества параметров и вычислительных ресурсов, что затрудняет их применение в условиях ограниченных ресурсов. В этой связи было предложено несколько легких LMM последовательно для максимизации возможностей при ограниченном масштабе (например, 3B). Несмотря на обнадеживающие результаты, достигнутые этими методами, большинство из них сосредоточены только на одном или двух аспектах пространства проектирования, и ключевые выборы проектирования, влияющие на возможности модели, еще не были тщательно изучены. В данной статье мы проводим систематическое исследование легких LMM с точки зрения архитектуры модели, стратегии обучения и обучающих данных. Основываясь на наших выводах, мы создаем Imp - семейство высококвалифицированных LMM в масштабах от 2B до 4B. Заметно, что наша модель Imp-3B стабильно превосходит все существующие легкие LMM схожего размера, и даже превосходит передовые LMM в масштабе 13B. С использованием техник квантования низкого разрешения и уменьшения разрешения нашу модель Imp можно развернуть на мобильном чипе Qualcomm Snapdragon 8Gen3 с высокой скоростью вывода около 13 токенов/с.

English

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp -- a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.