Macaw-LLM: 画像、音声、動画、テキストを統合したマルチモーダル言語モデル

要旨

命令チューニングされた大規模言語モデル（LLM）は、様々なNLPタスクで顕著な能力を示しているものの、テキスト以外のデータモダリティに対する有効性は十分に研究されていません。本研究では、視覚、音声、テキスト情報をシームレスに統合する新しいマルチモーダルLLMであるMacaw-LLMを提案します。Macaw-LLMは、マルチモーダルデータをエンコードするモダリティモジュール、事前学習済みLLMを活用する認知モジュール、多様な表現を調和させるアライメントモジュールの3つの主要コンポーネントで構成されています。私たちの新しいアライメントモジュールは、マルチモーダル特徴をテキスト特徴にシームレスに橋渡しし、モダリティモジュールから認知モジュールへの適応プロセスを簡素化します。さらに、69Kの画像インスタンスと50Kの動画インスタンスを含む、マルチターン対話形式の大規模マルチモーダル命令データセットを構築しました。私たちは、データ、コード、モデルを公開しており、これがマルチモーダルLLMの将来の研究の道を開き、LLMが多様なデータモダリティを処理し、複雑な現実世界のシナリオに対処する能力を拡張することを期待しています。

English

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.

Macaw-LLM: 画像、音声、動画、テキストを統合したマルチモーダル言語モデル

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

要旨

Support