Macaw-LLM: Multi-modale Sprachmodellierung mit Integration von Bild, Audio, Video und Text

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

June 15, 2023

Autoren: Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu

cs.AI

Zusammenfassung

Obwohl instruktionsfeinabgestimmte große Sprachmodelle (LLMs) bemerkenswerte Fähigkeiten in verschiedenen NLP-Aufgaben gezeigt haben, wurde ihre Wirksamkeit auf andere Datenmodalitäten jenseits von Text noch nicht umfassend untersucht. In dieser Arbeit schlagen wir Macaw-LLM vor, ein neuartiges multimodales LLM, das visuelle, auditive und textuelle Informationen nahtlos integriert. Macaw-LLM besteht aus drei Hauptkomponenten: einem Modalitätsmodul zur Kodierung multimodaler Daten, einem kognitiven Modul zur Nutzung vortrainierter LLMs und einem Ausrichtungsmodul zur Harmonisierung verschiedener Repräsentationen. Unser neuartiges Ausrichtungsmodul überbrückt nahtlos multimodale Merkmale mit textuellen Merkmalen und vereinfacht den Anpassungsprozess von den Modalitätsmodulen zum kognitiven Modul. Darüber hinaus haben wir einen groß angelegten multimodalen Instruktionsdatensatz im Hinblick auf mehrstufige Dialoge erstellt, der 69.000 Bildinstanzen und 50.000 Videoinstanzen umfasst. Wir haben unsere Daten, unseren Code und unser Modell öffentlich zugänglich gemacht, was hoffentlich den Weg für zukünftige Forschung in multimodalen LLMs ebnen und die Fähigkeiten von LLMs erweitern kann, um diverse Datenmodalitäten zu verarbeiten und komplexe reale Szenarien zu bewältigen.

English

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.