Erhellendes vereinheitlichtes multimodales Modell für die Freiform-Generierung von verschachtelten Text- und Bildinhalten

Zusammenfassung

Die Weiterentwicklung generativer KI-Modelle, die sowohl Text als auch Bilder erzeugen können, markiert einen entscheidenden Fortschritt im Bereich der multimodalen Intelligenz, insbesondere bei Aufgaben, die die Verflechtung beider Modalitäten erfordern. Um diese Intelligenz auf die nächste Stufe zu heben, ist es entscheidend, dass Modelle eigenständig frei formulierte, verschachtelte Text-Bild-Sequenzen generieren können. In diesem Artikel stellen wir ILLUME-X vor, ein fortschrittliches, einheitliches multimodales Paradigma, das eine qualitativ hochwertige, frei formulierte, verschachtelte Text-Bild-Generierung ermöglicht, indem es die multimodale Dateneffizienz verbessert und den multimodalen Trainingsprozess stabilisiert. ILLUME-X umfasst drei Schlüsselkomponenten: (i) eine erweiterte Trainingsdatenpipeline, optimiert für die verschachtelte Text-Bild-Generierung, (ii) eine progressive Trainingsstrategie mit selbstadaptiven Zielsetzungen für frei lange multimodale Tokensequenzen und (iii) eine objektive und umfassende Bewertungsmethode ILScore für verschachtelte Text-Bild-Sequenzen. Bemerkenswerterweise übertrifft unser ILLUME-X frühere einheitliche Modelle bei mehreren Aufgaben der verschachtelten Text-Bild-Generierung wie Stilübertragung, Bildzerlegung und Geschichtenerzählen.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.