TextBind : Suivi d'instructions multimodales entrelacées sur plusieurs tours

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Auteurs: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Résumé

Les grands modèles de langage dotés de capacités de suivi d'instructions ont révolutionné le domaine de l'intelligence artificielle. Ces modèles démontrent une généralisation exceptionnelle pour aborder diverses tâches du monde réel grâce à leurs interfaces en langage naturel. Cependant, leurs performances dépendent fortement de données exemplaires de haute qualité, souvent difficiles à obtenir. Ce défi est encore exacerbé lorsqu'il s'agit de suivi d'instructions multimodal. Nous présentons TextBind, un cadre quasi exempt d'annotations pour doter les grands modèles de langage de capacités de suivi d'instructions multimodales entrelacées sur plusieurs tours. Notre approche nécessite uniquement des paires image-légende et génère des conversations multimodales instruction-réponse sur plusieurs tours à partir d'un modèle de langage. Nous publions notre ensemble de données, notre modèle et une démonstration pour stimuler les recherches futures dans le domaine du suivi d'instructions multimodal.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.