Imp: Modelos Multimodais Grandes e Altamente Capazes para Dispositivos Móveis

Resumo

Ao aproveitar as capacidades dos grandes modelos de linguagem (LLMs), os recentes modelos multimodais de grande escala (LMMs) demonstraram uma versatilidade notável na compreensão multimodal de mundo aberto. No entanto, eles geralmente possuem muitos parâmetros e são intensivos em computação, o que dificulta sua aplicabilidade em cenários com recursos limitados. Para isso, vários LMMs leves foram propostos sucessivamente para maximizar as capacidades sob uma escala restrita (por exemplo, 3B). Apesar dos resultados encorajadores alcançados por esses métodos, a maioria deles se concentra em apenas um ou dois aspectos do espaço de design, e as principais escolhas de design que influenciam a capacidade do modelo ainda não foram investigadas de forma abrangente. Neste artigo, realizamos um estudo sistemático para LMMs leves, considerando os aspectos de arquitetura do modelo, estratégia de treinamento e dados de treinamento. Com base em nossas descobertas, obtemos o Imp — uma família de LMMs altamente capazes nas escalas de 2B-4B. Notavelmente, nosso modelo Imp-3B supera consistentemente todos os LMMs leves existentes de tamanho similar e até ultrapassa os LMMs state-of-the-art na escala de 13B. Com técnicas de quantização de baixo bit e redução de resolução, nosso modelo Imp pode ser implantado em um chip móvel Qualcomm Snapdragon 8Gen3 com uma alta velocidade de inferência de cerca de 13 tokens/s.

English

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp -- a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.

Imp: Modelos Multimodais Grandes e Altamente Capazes para Dispositivos Móveis

Imp: Highly Capable Large Multimodal Models for Mobile Devices

Resumo

Support