InternVL: Escalando modelos fundamentales de visión y alineándolos para tareas genéricas visual-lingüísticas

InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

December 21, 2023

Autores: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Zhong Muyan, Qinglong Zhang, Xizhou Zhu, Lewei Lu, Bin Li, Ping Luo, Tong Lu, Yu Qiao, Jifeng Dai

cs.AI

Resumen

El crecimiento exponencial de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ha abierto numerosas posibilidades para los sistemas de AGI multimodal. Sin embargo, el progreso en los modelos fundamentales de visión y visión-lenguaje, que también son elementos críticos de la AGI multimodal, no ha avanzado al mismo ritmo que los LLMs. En este trabajo, diseñamos un modelo fundamental de visión-lenguaje a gran escala (InternVL), que escala el modelo fundamental de visión hasta 6 mil millones de parámetros y lo alinea progresivamente con el modelo de lenguaje de gran escala, utilizando datos de imagen-texto a escala web provenientes de diversas fuentes. Este modelo puede aplicarse ampliamente y lograr un rendimiento de vanguardia en tareas de percepción visual, como el reconocimiento a nivel de imagen o píxel, tareas de visión-lenguaje como la clasificación de imágenes/vídeos con cero disparos, la recuperación de imágenes/vídeos-texto con cero disparos, y la conexión con LLMs para crear sistemas de diálogo multimodal. Esperamos que nuestra investigación pueda contribuir al desarrollo de modelos grandes multimodales. El código y los modelos están disponibles en https://github.com/OpenGVLab/InternVL.

English

The exponential growth of large language models (LLMs) has opened up numerous possibilities for multi-modal AGI systems. However, the progress in vision and vision-language foundation models, which are also critical elements of multi-modal AGI, has not kept pace with LLMs. In this work, we design a large-scale vision-language foundation model (InternVL), which scales up the vision foundation model to 6 billion parameters and progressively aligns it with the large language model, using web-scale image-text data from various sources. This model can be broadly applied to and achieve state-of-the-art performance on visual perception tasks such as image-level or pixel-level recognition, vision-language tasks such as zero-shot image/video classification, zero-shot image/video-text retrieval, and link with LLMs to create multi-modal dialogue systems. We hope that our research could contribute to the development of multi-modal large models. Code and models are available at https://github.com/OpenGVLab/InternVL.