InternLM-XComposer2: Dominando a Composição e Compreensão Livre de Texto-Imagem em Modelos de Grande Escala de Visão e Linguagem

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Autores: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Resumo

Apresentamos o InternLM-XComposer2, um modelo de última geração em visão e linguagem que se destaca na composição e compreensão de texto e imagem de forma livre. Este modelo vai além da compreensão convencional entre visão e linguagem, criando habilmente conteúdo intercalado de texto e imagem a partir de diversas entradas, como esboços, especificações textuais detalhadas e imagens de referência, permitindo a criação de conteúdo altamente personalizável. O InternLM-XComposer2 propõe uma abordagem Partial LoRA (PLoRA) que aplica parâmetros LoRA adicionais exclusivamente aos tokens de imagem, preservando a integridade do conhecimento linguístico pré-treinado, equilibrando a compreensão precisa da visão com a composição de texto e talento literário. Resultados experimentais demonstram a superioridade do InternLM-XComposer2, baseado no InternLM2-7B, na produção de conteúdo multimodal de texto longo de alta qualidade e seu desempenho excepcional na compreensão de visão e linguagem em vários benchmarks, onde não apenas supera significativamente os modelos multimodais existentes, mas também iguala ou até supera o GPT-4V e o Gemini Pro em determinadas avaliações. Isso destaca sua notável proficiência no domínio da compreensão multimodal. A série de modelos InternLM-XComposer2 com 7 bilhões de parâmetros está disponível publicamente em https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.