Macaw-LLM : Modélisation du Langage Multi-Modal avec Intégration d'Images, d'Audio, de Vidéo et de Texte

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

June 15, 2023

Auteurs: Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu

cs.AI

Résumé

Bien que les grands modèles de langage (LLM) ajustés par instruction aient démontré des capacités remarquables dans diverses tâches de traitement du langage naturel (NLP), leur efficacité sur d'autres modalités de données au-delà du texte n'a pas été pleinement étudiée. Dans ce travail, nous proposons Macaw-LLM, un nouveau LLM multimodal qui intègre de manière fluide les informations visuelles, audio et textuelles. Macaw-LLM se compose de trois principaux éléments : un module de modalité pour encoder les données multimodales, un module cognitif pour exploiter les LLM pré-entraînés, et un module d'alignement pour harmoniser les représentations diverses. Notre module d'alignement innovant relie de manière transparente les caractéristiques multimodales aux caractéristiques textuelles, simplifiant ainsi le processus d'adaptation des modules de modalité au module cognitif. De plus, nous avons construit un vaste ensemble de données d'instructions multimodales sous forme de dialogues multi-tours, incluant 69K instances d'images et 50K instances de vidéos. Nous avons rendu nos données, notre code et notre modèle publics, dans l'espoir qu'ils puissent ouvrir la voie à de futures recherches sur les LLM multimodaux et étendre les capacités des LLM à gérer des modalités de données variées et à aborder des scénarios réels complexes.

English

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.