TextBind: Multiturn Interleaved Multimodale Instructievolging

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Auteurs: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Samenvatting

Grote taalmodellen met instructievolgcapaciteiten hebben het vakgebied van kunstmatige intelligentie revolutionair veranderd. Deze modellen tonen een uitzonderlijke generaliseerbaarheid om diverse real-world taken aan te pakken via hun natuurlijke taalinterfaces. Hun prestaties zijn echter sterk afhankelijk van hoogwaardige voorbeeldgegevens, die vaak moeilijk te verkrijgen zijn. Deze uitdaging wordt verder verergerd wanneer het gaat om multimodale instructievolging. Wij introduceren TextBind, een bijna annotatievrij raamwerk om grotere taalmodellen te voorzien van de mogelijkheid tot multiturn interleaved multimodale instructievolging. Onze aanpak vereist alleen afbeelding-bijschriftparen en genereert multiturn multimodale instructie-responsgesprekken vanuit een taalmodel. Wij stellen onze dataset, ons model en onze demo beschikbaar om toekomstig onderzoek op het gebied van multimodale instructievolging te bevorderen.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.