Wie weit sind wir von GPT-4V entfernt? Die Kluft zu kommerziellen multimodalen Modellen mit Open-Source-Suiten schließen.

How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

April 25, 2024

Autoren: Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, Ji Ma, Jiaqi Wang, Xiaoyi Dong, Hang Yan, Hewei Guo, Conghui He, Zhenjiang Jin, Chao Xu, Bin Wang, Xingjian Wei, Wei Li, Wenjian Zhang, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao

cs.AI

Zusammenfassung

In diesem Bericht stellen wir InternVL 1.5 vor, ein Open-Source multimodales großes Sprachmodell (MLLM), das die Lücke zwischen Open-Source- und proprietären kommerziellen Modellen im multimodalen Verständnis überbrückt. Wir führen drei einfache Verbesserungen ein: (1) Starke Vision-Encoder: Wir haben eine kontinuierliche Lernstrategie für das groß angelegte Vision-Grundlagenmodell - InternViT-6B - erforscht, um seine visuellen Verständnisfähigkeiten zu steigern und es in verschiedenen LLMs übertragbar und wiederverwendbar zu machen. (2) Dynamische Hochauflösung: Wir unterteilen Bilder in Kacheln von 1 bis 40 mit 448x448 Pixeln je nach Seitenverhältnis und Auflösung der Eingabebilder, was Eingaben mit bis zu 4K-Auflösung unterstützt. (3) Hochwertiger zweisprachiger Datensatz: Wir haben sorgfältig einen hochwertigen zweisprachigen Datensatz gesammelt, der gängige Szenen und Dokumentenbilder abdeckt und sie mit englischen und chinesischen Frage-Antwort-Paaren annotiert, wodurch die Leistung bei OCR- und chinesischbezogenen Aufgaben signifikant verbessert wird. Wir evaluieren InternVL 1.5 anhand einer Reihe von Benchmarks und Vergleichsstudien. Im Vergleich zu sowohl Open-Source- als auch proprietären Modellen zeigt InternVL 1.5 eine wettbewerbsfähige Leistung und erzielt in 8 von 18 Benchmarks Ergebnisse auf dem neuesten Stand der Technik. Der Code wurde unter https://github.com/OpenGVLab/InternVL veröffentlicht.

English

In this report, we introduce InternVL 1.5, an open-source multimodal large language model (MLLM) to bridge the capability gap between open-source and proprietary commercial models in multimodal understanding. We introduce three simple improvements: (1) Strong Vision Encoder: we explored a continuous learning strategy for the large-scale vision foundation model -- InternViT-6B, boosting its visual understanding capabilities, and making it can be transferred and reused in different LLMs. (2) Dynamic High-Resolution: we divide images into tiles ranging from 1 to 40 of 448times448 pixels according to the aspect ratio and resolution of the input images, which supports up to 4K resolution input. (3) High-Quality Bilingual Dataset: we carefully collected a high-quality bilingual dataset that covers common scenes, document images, and annotated them with English and Chinese question-answer pairs, significantly enhancing performance in OCR- and Chinese-related tasks. We evaluate InternVL 1.5 through a series of benchmarks and comparative studies. Compared to both open-source and proprietary models, InternVL 1.5 shows competitive performance, achieving state-of-the-art results in 8 of 18 benchmarks. Code has been released at https://github.com/OpenGVLab/InternVL.