InternLM-XComposer-2.5: Универсальная большая языковая модель видения, поддерживающая длинный контекст ввода и вывода

InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output

July 3, 2024

Авторы: Pan Zhang, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Rui Qian, Lin Chen, Qipeng Guo, Haodong Duan, Bin Wang, Linke Ouyang, Songyang Zhang, Wenwei Zhang, Yining Li, Yang Gao, Peng Sun, Xinyue Zhang, Wei Li, Jingwen Li, Wenhai Wang, Hang Yan, Conghui He, Xingcheng Zhang, Kai Chen, Jifeng Dai, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Представляем InternLM-XComposer-2.5 (IXC-2.5), универсальную модель языка большого объема, которая поддерживает ввод и вывод с длинным контекстом. IXC-2.5 отлично справляется с различными приложениями по пониманию и созданию текста и изображений, достигая уровня возможностей GPT-4V с всего лишь 7 млрд. параметров LLM. Обученная на 24 тыс. чередующихся контекстах изображений и текста, она может без проблем расшириться до 96 тыс. длинных контекстов с помощью экстраполяции RoPE. Эта возможность работы с длинным контекстом позволяет IXC-2.5 выделяться в задачах, требующих обширного ввода и вывода контекста. По сравнению с предыдущей версией 2.0, InternLM-XComposer-2.5 имеет три основных улучшения в понимании языка и зрения: (1) Понимание с ультравысоким разрешением, (2) Тонкое понимание видео и (3) Диалог с многократными поворотами и множеством изображений. Помимо понимания, IXC-2.5 расширяется до двух увлекательных приложений с использованием дополнительных параметров LoRA для создания текста и изображений: (1) Создание веб-страниц и (2) Создание статей высокого качества с текстом и изображениями. IXC-2.5 была оценена на 28 показателях, превосходя существующие модели с открытым исходным кодом на 16 показателях. Она также превосходит или тесно конкурирует с GPT-4V и Gemini Pro на 16 ключевых задачах. InternLM-XComposer-2.5 доступна публично по адресу https://github.com/InternLM/InternLM-XComposer.

English

We present InternLM-XComposer-2.5 (IXC-2.5), a versatile large-vision language model that supports long-contextual input and output. IXC-2.5 excels in various text-image comprehension and composition applications, achieving GPT-4V level capabilities with merely 7B LLM backend. Trained with 24K interleaved image-text contexts, it can seamlessly extend to 96K long contexts via RoPE extrapolation. This long-context capability allows IXC-2.5 to excel in tasks requiring extensive input and output contexts. Compared to its previous 2.0 version, InternLM-XComposer-2.5 features three major upgrades in vision-language comprehension: (1) Ultra-High Resolution Understanding, (2) Fine-Grained Video Understanding, and (3) Multi-Turn Multi-Image Dialogue. In addition to comprehension, IXC-2.5 extends to two compelling applications using extra LoRA parameters for text-image composition: (1) Crafting Webpages and (2) Composing High-Quality Text-Image Articles. IXC-2.5 has been evaluated on 28 benchmarks, outperforming existing open-source state-of-the-art models on 16 benchmarks. It also surpasses or competes closely with GPT-4V and Gemini Pro on 16 key tasks. The InternLM-XComposer-2.5 is publicly available at https://github.com/InternLM/InternLM-XComposer.