ILLUME: LLMを照らして、見る、描く、自己向上をする

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

著者: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

要旨

本論文では、ILLUMEという統合されたマルチモーダル大規模言語モデル（MLLM）を紹介します。このモデルは、統一された次トークン予測形式を通じてマルチモーダル理解と生成能力をシームレスに統合しています。画像テキストの整合性に通常必要とされる大規模データセットサイズに対処するため、我々は意味情報を取り入れたビジョントークナイザーの設計と進行的な多段階トレーニング手法を組み合わせてデータ効率性を向上させることを提案しています。このアプローチにより、事前学習用のデータセットサイズを通常必要とされるものよりも4倍以上少ない15Mに削減しつつ、Janusなどの既存の統合MLLMと競合力のある、あるいはそれ以上のパフォーマンスを達成しています。さらに、従来の研究で未開拓の理解と生成能力の相乗的な向上を促進するために、新しい自己強化マルチモーダル整合スキームを導入しています。このスキームは、MLLMに自己生成画像とテキスト記述の整合性を自己評価させ、モデルが画像をより正確に解釈し、画像生成の整合性の不一致による非現実的で誤った予測を回避するのを支援しています。幅広い実験に基づいて、提案されたILLUMEは、マルチモーダル理解、生成、編集のさまざまなベンチマークにおいて、最先端の統合MLLMや専門モデルと競合し、際立っています。

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.