Macaw-LLM: Modellazione Linguistica Multi-Modale con Integrazione di Immagini, Audio, Video e Testo

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

June 15, 2023

Autori: Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu

cs.AI

Abstract

Sebbene i grandi modelli linguistici (LLM) ottimizzati per istruzioni abbiano dimostrato capacità notevoli in vari compiti di NLP, la loro efficacia su altre modalità di dati oltre al testo non è stata ancora pienamente studiata. In questo lavoro, proponiamo Macaw-LLM, un nuovo LLM multimodale che integra in modo fluido informazioni visive, audio e testuali. Macaw-LLM è composto da tre componenti principali: un modulo di modalità per codificare dati multimodali, un modulo cognitivo per sfruttare LLM pre-addestrati e un modulo di allineamento per armonizzare rappresentazioni diverse. Il nostro innovativo modulo di allineamento collega in modo fluido le caratteristiche multimodali a quelle testuali, semplificando il processo di adattamento dai moduli di modalità al modulo cognitivo. Inoltre, abbiamo costruito un ampio dataset di istruzioni multimodali basato su dialoghi multi-turn, includendo 69K istanze di immagini e 50K istanze di video. Abbiamo reso pubblicamente disponibili i nostri dati, codice e modello, con la speranza che possano aprire la strada a future ricerche sugli LLM multimodali e ampliare le capacità degli LLM di gestire diverse modalità di dati e affrontare scenari real-world complessi.

English

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.