InternVL: Масштабирование базовых моделей компьютерного зрения и их адаптация для универсальных визуально-лингвистических задач

Аннотация

Экспоненциальный рост крупных языковых моделей (LLM) открыл множество возможностей для создания мультимодальных систем искусственного общего интеллекта (AGI). Однако прогресс в области моделей для обработки изображений и мультимодальных моделей, объединяющих зрение и язык, которые также являются ключевыми элементами мультимодального AGI, не поспевает за развитием LLM. В данной работе мы разрабатываем крупномасштабную мультимодальную модель, объединяющую зрение и язык (InternVL), которая масштабирует модель обработки изображений до 6 миллиардов параметров и постепенно согласует её с крупной языковой моделью, используя веб-данные изображений и текстов из различных источников. Эта модель может быть широко применена и демонстрирует наилучшие результаты в задачах визуального восприятия, таких как распознавание на уровне изображения или пикселя, а также в задачах, объединяющих зрение и язык, таких как классификация изображений/видео с нулевым обучением, поиск соответствий между изображениями/видео и текстом с нулевым обучением, и интеграция с LLM для создания мультимодальных диалоговых систем. Мы надеемся, что наше исследование внесёт вклад в развитие крупных мультимодальных моделей. Код и модели доступны по адресу https://github.com/OpenGVLab/InternVL.

English

The exponential growth of large language models (LLMs) has opened up numerous possibilities for multi-modal AGI systems. However, the progress in vision and vision-language foundation models, which are also critical elements of multi-modal AGI, has not kept pace with LLMs. In this work, we design a large-scale vision-language foundation model (InternVL), which scales up the vision foundation model to 6 billion parameters and progressively aligns it with the large language model, using web-scale image-text data from various sources. This model can be broadly applied to and achieve state-of-the-art performance on visual perception tasks such as image-level or pixel-level recognition, vision-language tasks such as zero-shot image/video classification, zero-shot image/video-text retrieval, and link with LLMs to create multi-modal dialogue systems. We hope that our research could contribute to the development of multi-modal large models. Code and models are available at https://github.com/OpenGVLab/InternVL.

InternVL: Масштабирование базовых моделей компьютерного зрения и их адаптация для универсальных визуально-лингвистических задач

InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

Аннотация

Support