InternLM-XComposer2 : Maîtrise de la composition et de la compréhension libres texte-image dans un grand modèle de vision et langage

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

January 29, 2024

Auteurs: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Résumé

Nous présentons InternLM-XComposer2, un modèle vision-langage de pointe qui excelle dans la composition et la compréhension libre de textes et d’images. Ce modèle va au-delà de la compréhension conventionnelle vision-langage, en créant habilement du contenu entrelaçant texte et image à partir d’entrées variées telles que des plans, des spécifications textuelles détaillées et des images de référence, permettant ainsi une création de contenu hautement personnalisable. InternLM-XComposer2 propose une approche Partial LoRA (PLoRA) qui applique des paramètres LoRA supplémentaires exclusivement aux tokens d’image afin de préserver l’intégrité des connaissances linguistiques pré-entraînées, établissant un équilibre entre une compréhension visuelle précise et une composition textuelle dotée de talent littéraire. Les résultats expérimentaux démontrent la supériorité d’InternLM-XComposer2, basé sur InternLM2-7B, dans la production de contenu multimodal de long texte de haute qualité, ainsi que ses performances exceptionnelles en compréhension vision-langage sur divers benchmarks, où il surpasse non seulement de manière significative les modèles multimodaux existants, mais rivalise ou dépasse même GPT-4V et Gemini Pro dans certaines évaluations. Cela met en évidence sa remarquable maîtrise dans le domaine de la compréhension multimodale. La série de modèles InternLM-XComposer2 avec 7 milliards de paramètres est disponible publiquement à l’adresse suivante : https://github.com/InternLM/InternLM-XComposer.

English

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.