InternVL: Ampliando Modelos Fundamentais de Visão e Alinhando para Tarefas Genéricas de Visão e Linguagem

InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

December 21, 2023

Autores: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Zhong Muyan, Qinglong Zhang, Xizhou Zhu, Lewei Lu, Bin Li, Ping Luo, Tong Lu, Yu Qiao, Jifeng Dai

cs.AI

Resumo

O crescimento exponencial dos grandes modelos de linguagem (LLMs) abriu inúmeras possibilidades para sistemas de AGI multimodal. No entanto, o progresso em modelos de base para visão e visão-linguagem, que também são elementos críticos da AGI multimodal, não acompanhou o ritmo dos LLMs. Neste trabalho, projetamos um modelo de base em larga escala para visão-linguagem (InternVL), que amplia o modelo de base para visão para 6 bilhões de parâmetros e o alinha progressivamente com o grande modelo de linguagem, utilizando dados de imagem-texto em escala da web de várias fontes. Este modelo pode ser amplamente aplicado e alcançar desempenho de ponta em tarefas de percepção visual, como reconhecimento em nível de imagem ou pixel, tarefas de visão-linguagem, como classificação de imagem/vídeo em zero-shot, recuperação de imagem/vídeo-texto em zero-shot, e conexão com LLMs para criar sistemas de diálogo multimodal. Esperamos que nossa pesquisa possa contribuir para o desenvolvimento de grandes modelos multimodais. Códigos e modelos estão disponíveis em https://github.com/OpenGVLab/InternVL.

English

The exponential growth of large language models (LLMs) has opened up numerous possibilities for multi-modal AGI systems. However, the progress in vision and vision-language foundation models, which are also critical elements of multi-modal AGI, has not kept pace with LLMs. In this work, we design a large-scale vision-language foundation model (InternVL), which scales up the vision foundation model to 6 billion parameters and progressively aligns it with the large language model, using web-scale image-text data from various sources. This model can be broadly applied to and achieve state-of-the-art performance on visual perception tasks such as image-level or pixel-level recognition, vision-language tasks such as zero-shot image/video classification, zero-shot image/video-text retrieval, and link with LLMs to create multi-modal dialogue systems. We hope that our research could contribute to the development of multi-modal large models. Code and models are available at https://github.com/OpenGVLab/InternVL.