TextBind: Многозадачное чередующееся мультимодальное следование инструкциям

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Авторы: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Аннотация

Крупные языковые модели с возможностью следования инструкциям произвели революцию в области искусственного интеллекта. Эти модели демонстрируют исключительную обобщаемость для решения различных задач реального мира через свои интерфейсы на естественном языке. Однако их производительность сильно зависит от высококачественных примеров данных, которые часто сложно получить. Эта проблема усугубляется, когда речь идет о мультимодальном следовании инструкциям. Мы представляем TextBind — практически не требующий аннотаций фреймворк для наделения крупных языковых моделей способностью к многошаговому чередующемуся мультимодальному следованию инструкциям. Наш подход требует только пар изображение-описание и генерирует многошаговые мультимодальные диалоги "инструкция-ответ" с помощью языковой модели. Мы публикуем наш набор данных, модель и демонстрацию для стимулирования будущих исследований в области мультимодального следования инструкциям.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.