ILLUME: Het Verlichten van Jouw LLM's om te Zien, Tekenen, en Zichzelf te Verbeteren

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Auteurs: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Samenvatting

In dit paper introduceren we ILLUME, een verenigd multimodaal groot taalmodel (MLLM) dat naadloos multimodale begrips- en generatiecapaciteiten integreert binnen een enkel groot taalmodel door middel van een verenigde formulering voor voorspelling van het volgende token. Om de grote datasetgrootte die typisch vereist is voor afstemming van beeld en tekst aan te pakken, stellen we voor om de gegevensefficiëntie te verbeteren door het ontwerp van een visuele tokenizer die semantische informatie incorporeert en een progressieve meertraps trainingsprocedure. Deze benadering vermindert de datasetgrootte tot slechts 15M voor voorafgaande training - meer dan vier keer minder dan wat typisch nodig is - terwijl het competitieve of zelfs superieure prestaties behaalt ten opzichte van bestaande verenigde MLLM's, zoals Janus. Daarnaast introduceren we, om synergetische verbetering tussen begrips- en generatiecapaciteiten te bevorderen, wat onderbelicht is in eerdere werken, een nieuw zelfversterkend multimodaal afstemmingsschema. Dit schema superviseert het MLLM om zelf de consistentie tussen tekstbeschrijvingen en zelf gegenereerde beelden te beoordelen, waardoor het model beelden nauwkeuriger kan interpreteren en onrealistische en incorrecte voorspellingen kan vermijden die worden veroorzaakt door misafstemming in beeldgeneratie. Op basis van uitgebreide experimenten, valt ons voorgestelde ILLUME op en concurreert het met toonaangevende verenigde MLLM's en gespecialiseerde modellen over verschillende benchmarks voor multimodaal begrip, generatie en bewerking.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.