InternLM-XComposer2: Meester in vrije-vorm tekst-beeldcompositie en begrip in vision-language grote modellen

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Auteurs: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

We introduceren InternLM-XComposer2, een geavanceerd visueel-taalmodel dat uitblinkt in het samenstellen en begrijpen van vrije-vorm tekst-beeldcombinaties. Dit model gaat verder dan conventioneel visueel-taalbegrip en is bedreven in het creëren van geïntegreerde tekst-beeldinhoud vanuit diverse inputs zoals schetsen, gedetailleerde tekstuele specificaties en referentiebeelden, waardoor zeer aanpasbare contentcreatie mogelijk wordt. InternLM-XComposer2 introduceert een Partial LoRA (PLoRA)-benadering die aanvullende LoRA-parameters uitsluitend toepast op beeldtokens om de integriteit van vooraf getrainde taalkennis te behouden, waardoor een balans wordt gevonden tussen nauwkeurig visueel begrip en tekstcompositie met literair talent. Experimentele resultaten tonen de superioriteit van InternLM-XComposer2, gebaseerd op InternLM2-7B, in het produceren van hoogwaardige lange-tekst multimodale inhoud en zijn uitzonderlijke visueel-taalbegrip prestaties op diverse benchmarks, waar het niet alleen aanzienlijk beter presteert dan bestaande multimodale modellen, maar ook gelijkwaardig of zelfs beter is dan GPT-4V en Gemini Pro in bepaalde evaluaties. Dit onderstreept zijn opmerkelijke vaardigheid op het gebied van multimodaal begrip. De InternLM-XComposer2 modelreeks met 7B parameters is publiekelijk beschikbaar op https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.