TextBind: Istruzioni Multimodali Intervallate su Più Turni

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Autori: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Abstract

I grandi modelli linguistici con capacità di seguire istruzioni hanno rivoluzionato il campo dell'intelligenza artificiale. Questi modelli dimostrano un'eccezionale generalizzabilità nell'affrontare vari compiti del mondo reale attraverso le loro interfacce in linguaggio naturale. Tuttavia, le loro prestazioni dipendono fortemente da dati esemplari di alta qualità, che sono spesso difficili da ottenere. Questa sfida è ulteriormente esacerbata quando si tratta di seguire istruzioni multimodali. Introduciamo TextBind, un framework quasi privo di annotazioni per potenziare i grandi modelli linguistici con capacità di seguire istruzioni multimodali intercalate in più turni. Il nostro approccio richiede solo coppie immagine-didascalia e genera conversazioni multimodali istruzione-risposta in più turni da un modello linguistico. Rilasciamo il nostro dataset, modello e demo per favorire future ricerche nel campo del seguire istruzioni multimodali.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.