Quão Perto Estamos do GPT-4V? Reduzindo a Distância para Modelos Multimodais Comerciais com Suítes de Código Aberto

How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

April 25, 2024

Autores: Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, Ji Ma, Jiaqi Wang, Xiaoyi Dong, Hang Yan, Hewei Guo, Conghui He, Zhenjiang Jin, Chao Xu, Bin Wang, Xingjian Wei, Wei Li, Wenjian Zhang, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao

cs.AI

Resumo

Neste relatório, apresentamos o InternVL 1.5, um modelo de linguagem multimodal de grande escala (MLLM) de código aberto, projetado para reduzir a lacuna de capacidade entre modelos de código aberto e modelos comerciais proprietários na compreensão multimodal. Introduzimos três melhorias simples: (1) Codificador Visual Forte: exploramos uma estratégia de aprendizado contínuo para o modelo de base visual em larga escala -- InternViT-6B, aumentando suas capacidades de compreensão visual e permitindo que ele seja transferido e reutilizado em diferentes LLMs. (2) Resolução Dinâmica de Alta Definição: dividimos as imagens em blocos que variam de 1 a 40 de 448x448 pixels, de acordo com a proporção e resolução das imagens de entrada, suportando entradas de até 4K de resolução. (3) Conjunto de Dados Bilíngue de Alta Qualidade: coletamos cuidadosamente um conjunto de dados bilíngue de alta qualidade que abrange cenas comuns, imagens de documentos, e as anotamos com pares de perguntas e respostas em inglês e chinês, melhorando significativamente o desempenho em tarefas relacionadas a OCR e ao idioma chinês. Avaliamos o InternVL 1.5 por meio de uma série de benchmarks e estudos comparativos. Em comparação com modelos de código aberto e proprietários, o InternVL 1.5 demonstra desempenho competitivo, alcançando resultados de ponta em 8 dos 18 benchmarks. O código foi disponibilizado em https://github.com/OpenGVLab/InternVL.

English

In this report, we introduce InternVL 1.5, an open-source multimodal large language model (MLLM) to bridge the capability gap between open-source and proprietary commercial models in multimodal understanding. We introduce three simple improvements: (1) Strong Vision Encoder: we explored a continuous learning strategy for the large-scale vision foundation model -- InternViT-6B, boosting its visual understanding capabilities, and making it can be transferred and reused in different LLMs. (2) Dynamic High-Resolution: we divide images into tiles ranging from 1 to 40 of 448times448 pixels according to the aspect ratio and resolution of the input images, which supports up to 4K resolution input. (3) High-Quality Bilingual Dataset: we carefully collected a high-quality bilingual dataset that covers common scenes, document images, and annotated them with English and Chinese question-answer pairs, significantly enhancing performance in OCR- and Chinese-related tasks. We evaluate InternVL 1.5 through a series of benchmarks and comparative studies. Compared to both open-source and proprietary models, InternVL 1.5 shows competitive performance, achieving state-of-the-art results in 8 of 18 benchmarks. Code has been released at https://github.com/OpenGVLab/InternVL.