ILLUME: Beleuchtung Ihrer LLMs, um zu sehen, zu zeichnen und sich selbst zu verbessern.

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Autoren: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Zusammenfassung

In diesem Paper stellen wir ILLUME vor, ein vereinheitlichtes multimodales großes Sprachmodell (MLLM), das nahtlos multimodale Verständnis- und Generierungsfähigkeiten in einem einzigen großen Sprachmodell durch eine vereinheitlichte Vorhersageformulierung für das nächste Token integriert. Um mit der für die Bild-Text-Ausrichtung typischerweise erforderlichen großen Datensatzgröße umzugehen, schlagen wir vor, die Dateneffizienz durch das Design eines Vision-Tokenizer zu verbessern, der semantische Informationen und ein progressives mehrstufiges Schulungsverfahren integriert. Dieser Ansatz reduziert die Datensatzgröße für das Pretraining auf nur 15M - über viermal weniger als üblicherweise benötigt wird - und erzielt dabei eine wettbewerbsfähige oder sogar überlegene Leistung im Vergleich zu bestehenden vereinheitlichten MLLMs wie Janus. Darüber hinaus führen wir zur Förderung einer synergistischen Verbesserung zwischen Verständnis- und Generierungsfähigkeiten, die in früheren Arbeiten unterbelichtet ist, ein neuartiges selbstverbesserndes multimodales Ausrichtungsschema ein. Dieses Schema überwacht das MLLM, um die Konsistenz zwischen Textbeschreibungen und selbstgenerierten Bildern selbst zu bewerten, was dem Modell ermöglicht, Bilder genauer zu interpretieren und unrealistische und inkorrekte Vorhersagen aufgrund von Missausrichtungen in der Bildgenerierung zu vermeiden. Basierend auf umfangreichen Experimenten sticht unser vorgeschlagenes ILLUME hervor und konkurriert mit modernsten vereinheitlichten MLLMs und spezialisierten Modellen in verschiedenen Benchmarks für multimodales Verständnis, Generierung und Bearbeitung.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.