TextBind: Multiturnige, verschränkte multimodale Befolgung von Anweisungen

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Autoren: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Zusammenfassung

Große Sprachmodelle mit Fähigkeiten zur Befolgung von Anweisungen haben das Feld der künstlichen Intelligenz revolutioniert. Diese Modelle zeigen eine außergewöhnliche Generalisierbarkeit, um verschiedene reale Aufgaben durch ihre natürlichen Sprachschnittstellen zu bewältigen. Ihre Leistung hängt jedoch stark von hochwertigen Beispieldaten ab, die oft schwer zu beschaffen sind. Diese Herausforderung wird noch verstärkt, wenn es um die multimodale Befolgung von Anweisungen geht. Wir stellen TextBind vor, ein nahezu annotationsfreies Framework, das größere Sprachmodelle mit der Fähigkeit zur mehrstufigen, verschachtelten multimodalen Befolgung von Anweisungen ausstattet. Unser Ansatz benötigt lediglich Bild-Beschriftungs-Paare und generiert mehrstufige multimodale Anweisungs-Antwort-Gespräche aus einem Sprachmodell. Wir veröffentlichen unseren Datensatz, unser Modell und eine Demo, um zukünftige Forschungen im Bereich der multimodalen Befolgung von Anweisungen zu fördern.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.