TextBind: Seguimento de Instruções Multimodais Intercaladas em Múltiplos Turnos

TextBind: Multi-turn Interleaved Multimodal Instruction-following

September 14, 2023

Autores: Huayang Li, Siheng Li, Deng Cai, Longyue Wang, Lemao Liu, Taro Watanabe, Yujiu Yang, Shuming Shi

cs.AI

Resumo

Modelos de linguagem de grande escala com habilidades de seguir instruções revolucionaram o campo da inteligência artificial. Esses modelos demonstram uma generalização excepcional para lidar com diversas tarefas do mundo real por meio de suas interfaces de linguagem natural. No entanto, seu desempenho depende fortemente de dados exemplares de alta qualidade, que muitas vezes são difíceis de obter. Esse desafio é ainda mais agravado quando se trata de seguir instruções multimodais. Apresentamos o TextBind, uma estrutura quase livre de anotações que capacita modelos de linguagem maiores com a capacidade de seguir instruções multimodais intercaladas em múltiplos turnos. Nossa abordagem requer apenas pares de imagem-legenda e gera conversas multimodais de instrução-resposta em múltiplos turnos a partir de um modelo de linguagem. Disponibilizamos nosso conjunto de dados, modelo e demonstração para promover pesquisas futuras na área de seguir instruções multimodais.

English

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.