Macaw-LLM: Modelagem de Linguagem Multimodal com Integração de Imagem, Áudio, Vídeo e Texto

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

June 15, 2023

Autores: Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) ajustados por instruções tenham demonstrado capacidades notáveis em várias tarefas de PLN, sua eficácia em outras modalidades de dados além do texto ainda não foi totalmente estudada. Neste trabalho, propomos o Macaw-LLM, um novo LLM multimodal que integra de forma harmoniosa informações visuais, auditivas e textuais. O Macaw-LLM consiste em três componentes principais: um módulo de modalidade para codificar dados multimodais, um módulo cognitivo para aproveitar LLMs pré-treinados e um módulo de alinhamento para harmonizar representações diversas. Nosso novo módulo de alinhamento conecta de forma fluida características multimodais a características textuais, simplificando o processo de adaptação dos módulos de modalidade para o módulo cognitivo. Além disso, construímos um grande conjunto de dados de instrução multimodal em termos de diálogo multivolta, incluindo 69 mil instâncias de imagem e 50 mil instâncias de vídeo. Disponibilizamos publicamente nossos dados, código e modelo, com a esperança de que isso possa abrir caminho para pesquisas futuras em LLMs multimodais e expandir as capacidades dos LLMs para lidar com diversas modalidades de dados e abordar cenários complexos do mundo real.

English

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.