ILLUME: Освещение ваших LLM для просмотра, рисования и самоусовершенствования

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Авторы: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Аннотация

В данной статье мы представляем ILLUME - объединенную мультимодальную крупномасштабную языковую модель (MLLM), которая плавно интегрирует возможности мультимодального понимания и генерации в рамках одной крупной языковой модели через унифицированную формулировку предсказания следующего токена. Для решения проблемы большого размера набора данных, обычно требуемого для выравнивания изображений и текста, мы предлагаем увеличить эффективность данных путем разработки визионного токенизатора, который интегрирует семантическую информацию, и прогрессивной многоступенчатой процедуры обучения. Этот подход сокращает размер набора данных до всего 15 млн для предварительного обучения - более четырех раз меньше, чем обычно требуется, при достижении конкурентоспособной или даже более высокой производительности по сравнению с существующими объединенными MLLM, такими как Janus. Кроме того, для поощрения синергетического усиления между возможностями понимания и генерации, что недостаточно исследовалось в предыдущих работах, мы представляем новую схему самоусиления мультимодального выравнивания. Эта схема наблюдает за MLLM, чтобы самооценивать согласованность между текстовыми описаниями и самостоятельно созданными изображениями, облегчая модели интерпретацию изображений более точно и избегая нереалистичных и неправильных прогнозов, вызванных несоответствием в генерации изображений. На основе обширных экспериментов наш предложенный ILLUME выделяется и конкурирует с передовыми объединенными MLLM и специализированными моделями на различных показателях для мультимодального понимания, генерации и редактирования.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.