InternLM-XComposer2: Dominando la composición y comprensión libre de texto-imagen en modelos de lenguaje-visión a gran escala

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Autores: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Resumen

Presentamos InternLM-XComposer2, un modelo de vanguardia en visión y lenguaje que sobresale en la composición y comprensión libre de texto e imágenes. Este modelo va más allá de la comprensión convencional de visión y lenguaje, creando hábilmente contenido intercalado de texto e imágenes a partir de diversas entradas como esquemas, especificaciones textuales detalladas e imágenes de referencia, lo que permite una creación de contenido altamente personalizable. InternLM-XComposer2 propone un enfoque de LoRA Parcial (PLoRA) que aplica parámetros adicionales de LoRA exclusivamente a los tokens de imagen para preservar la integridad del conocimiento lingüístico preentrenado, logrando un equilibrio entre la comprensión precisa de la visión y la composición de texto con talento literario. Los resultados experimentales demuestran la superioridad de InternLM-XComposer2, basado en InternLM2-7B, en la producción de contenido multimodal de texto largo de alta calidad y su excepcional rendimiento en comprensión de visión y lenguaje en varios benchmarks, donde no solo supera significativamente a los modelos multimodales existentes, sino que también iguala o incluso supera a GPT-4V y Gemini Pro en ciertas evaluaciones. Esto resalta su notable competencia en el ámbito de la comprensión multimodal. La serie de modelos InternLM-XComposer2 con 7B parámetros está disponible públicamente en https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.