InternVL : Mise à l'échelle des modèles de base en vision et alignement pour des tâches génériques visuelles-linguistiques

InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

December 21, 2023

Auteurs: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Zhong Muyan, Qinglong Zhang, Xizhou Zhu, Lewei Lu, Bin Li, Ping Luo, Tong Lu, Yu Qiao, Jifeng Dai

cs.AI

Résumé

La croissance exponentielle des grands modèles de langage (LLMs) a ouvert de nombreuses possibilités pour les systèmes d'AGI multi-modaux. Cependant, les progrès dans les modèles de base pour la vision et la vision-langage, qui sont également des éléments cruciaux de l'AGI multi-modale, n'ont pas suivi le rythme des LLMs. Dans ce travail, nous concevons un modèle de base vision-langage à grande échelle (InternVL), qui augmente le modèle de base pour la vision à 6 milliards de paramètres et l'aligne progressivement avec le grand modèle de langage, en utilisant des données image-texte à l'échelle du web provenant de diverses sources. Ce modèle peut être largement appliqué et atteindre des performances de pointe sur des tâches de perception visuelle telles que la reconnaissance au niveau de l'image ou du pixel, des tâches vision-langage comme la classification d'images/vidéos en zero-shot, la recherche image/vidéo-texte en zero-shot, et la liaison avec les LLMs pour créer des systèmes de dialogue multi-modaux. Nous espérons que notre recherche pourra contribuer au développement de grands modèles multi-modaux. Le code et les modèles sont disponibles à l'adresse https://github.com/OpenGVLab/InternVL.

English

The exponential growth of large language models (LLMs) has opened up numerous possibilities for multi-modal AGI systems. However, the progress in vision and vision-language foundation models, which are also critical elements of multi-modal AGI, has not kept pace with LLMs. In this work, we design a large-scale vision-language foundation model (InternVL), which scales up the vision foundation model to 6 billion parameters and progressively aligns it with the large language model, using web-scale image-text data from various sources. This model can be broadly applied to and achieve state-of-the-art performance on visual perception tasks such as image-level or pixel-level recognition, vision-language tasks such as zero-shot image/video classification, zero-shot image/video-text retrieval, and link with LLMs to create multi-modal dialogue systems. We hope that our research could contribute to the development of multi-modal large models. Code and models are available at https://github.com/OpenGVLab/InternVL.