InternVL: Skalierung von Vision-Foundation-Modellen und Ausrichtung auf generische visuell-linguistische Aufgaben

InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

December 21, 2023

Autoren: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Zhong Muyan, Qinglong Zhang, Xizhou Zhu, Lewei Lu, Bin Li, Ping Luo, Tong Lu, Yu Qiao, Jifeng Dai

cs.AI

Zusammenfassung

Das exponentielle Wachstum großer Sprachmodelle (LLMs) hat zahlreiche Möglichkeiten für multimodale AGI-Systeme eröffnet. Der Fortschritt bei visuellen und visuell-sprachlichen Basismodellen, die ebenfalls entscheidende Elemente multimodaler AGI sind, konnte jedoch nicht mit den LLMs Schritt halten. In dieser Arbeit entwickeln wir ein großskaliges visuell-sprachliches Basismodell (InternVL), das das visuelle Basismodell auf 6 Milliarden Parameter hochskaliert und es schrittweise mit dem großen Sprachmodell abstimmt, wobei web-skalierte Bild-Text-Daten aus verschiedenen Quellen verwendet werden. Dieses Modell kann breit angewendet werden und erzielt Spitzenleistungen bei visuellen Wahrnehmungsaufgaben wie der Bild- oder Pixel-Erkennung, visuell-sprachlichen Aufgaben wie der Zero-Shot-Bild-/Video-Klassifizierung, der Zero-Shot-Bild-/Video-Text-Retrieval sowie der Verknüpfung mit LLMs zur Erstellung multimodaler Dialogsysteme. Wir hoffen, dass unsere Forschung zur Entwicklung multimodaler Großmodelle beitragen kann. Code und Modelle sind unter https://github.com/OpenGVLab/InternVL verfügbar.

English

The exponential growth of large language models (LLMs) has opened up numerous possibilities for multi-modal AGI systems. However, the progress in vision and vision-language foundation models, which are also critical elements of multi-modal AGI, has not kept pace with LLMs. In this work, we design a large-scale vision-language foundation model (InternVL), which scales up the vision foundation model to 6 billion parameters and progressively aligns it with the large language model, using web-scale image-text data from various sources. This model can be broadly applied to and achieve state-of-the-art performance on visual perception tasks such as image-level or pixel-level recognition, vision-language tasks such as zero-shot image/video classification, zero-shot image/video-text retrieval, and link with LLMs to create multi-modal dialogue systems. We hope that our research could contribute to the development of multi-modal large models. Code and models are available at https://github.com/OpenGVLab/InternVL.