InternLM-XComposer2: Beherrschung der freiform Text-Bild-Komposition und des Verständnisses in großskaligen Vision-Sprache-Modellen

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Autoren: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Wir stellen InternLM-XComposer2 vor, ein modernstes Vision-Sprache-Modell, das sich in der freien Text-Bild-Komposition und -Verständnis auszeichnet. Dieses Modell geht über das konventionelle Verständnis von Vision und Sprache hinaus und ist geschickt darin, verschachtelte Text-Bild-Inhalte aus verschiedenen Eingaben wie Gliederungen, detaillierten textuellen Spezifikationen und Referenzbildern zu erstellen, wodurch hochgradig anpassbare Inhaltserstellung ermöglicht wird. InternLM-XComposer2 schlägt einen Partial LoRA (PLoRA)-Ansatz vor, der zusätzliche LoRA-Parameter ausschließlich auf Bild-Tokens anwendet, um die Integrität des vortrainierten Sprachwissens zu bewahren und so ein Gleichgewicht zwischen präzisem Bildverständnis und textueller Komposition mit literarischem Talent zu schaffen. Experimentelle Ergebnisse demonstrieren die Überlegenheit von InternLM-XComposer2, basierend auf InternLM2-7B, in der Erstellung von hochwertigen langen multimodalen Texten und seine außergewöhnliche Vision-Sprache-Verständnisleistung über verschiedene Benchmarks hinweg, wo es nicht nur bestehende multimodale Modelle deutlich übertrifft, sondern in bestimmten Bewertungen auch GPT-4V und Gemini Pro erreicht oder sogar übertrifft. Dies unterstreicht seine bemerkenswerte Kompetenz im Bereich des multimodalen Verständnisses. Die InternLM-XComposer2-Modellserie mit 7B Parametern ist öffentlich verfügbar unter https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.