InternLM-XComposer2: Освоение свободной композиции и понимания текста и изображений в крупной модели обработки визуально-языковых данных

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Авторы: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Представляем InternLM-XComposer2 — передовую модель для работы с визуальными и текстовыми данными, которая превосходно справляется с созданием и пониманием свободных текстово-изобразительных композиций. Эта модель выходит за рамки традиционного понимания взаимодействия визуальной и текстовой информации, искусно создавая переплетённые текстово-изобразительные материалы на основе разнообразных входных данных, таких как наброски, детальные текстовые спецификации и референсные изображения, что позволяет создавать высоко настраиваемый контент. InternLM-XComposer2 предлагает подход Partial LoRA (PLoRA), который применяет дополнительные параметры LoRA исключительно к токенам изображений, сохраняя целостность предварительно обученных языковых знаний и достигая баланса между точным пониманием визуальной информации и текстовым составлением с литературным мастерством. Экспериментальные результаты демонстрируют превосходство InternLM-XComposer2, основанной на InternLM2-7B, в создании высококачественного длинного текстово-мультимодального контента и её выдающуюся производительность в понимании визуально-текстовых данных на различных тестовых наборах, где она не только значительно превосходит существующие мультимодальные модели, но также соответствует или даже превосходит GPT-4V и Gemini Pro в определённых оценках. Это подчёркивает её выдающиеся способности в области мультимодального понимания. Серия моделей InternLM-XComposer2 с 7 миллиардами параметров доступна публично по адресу https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.