Verhelderend Geünificeerd Multimodaal Model voor Vrijvormige Afgewisselde Tekst-Beeldgeneratie

Samenvatting

De vooruitgang van generatieve AI-modellen die in staat zijn tekst en beeld te produceren, markeert een cruciale stap voorwaarts op het gebied van multimodale intelligentie, met name voor taken waarbij beide modaliteiten door elkaar worden gebruikt. Om deze intelligentie naar de volgende fase te brengen, is het essentieel dat modellen autonoom vrijgevormde, interleaved tekst-beeldsequenties genereren. In dit artikel introduceren we ILLUME-X, een geavanceerd uniform multimodaal paradigma dat hoogwaardige, vrijgevormde interleaved tekst-beeldgeneratie mogelijk maakt door de multimodale data-efficiëntie te verbeteren en het multimodale trainingsproces te stabiliseren. ILLUME-X omvat drie kerncomponenten: (i) een uitgebreide trainingsdata-pijplijn geoptimaliseerd voor interleaved tekst-beeldgeneratie, (ii) een progressieve trainingsstrategie met zelfadaptieve doelstellingen voor multimodale tokenreeksen van vrije lengte, en (iii) een objectieve en uitgebreide evaluatiemethode ILScore voor interleaved tekst-beeldsequenties. Opmerkelijk is dat onze ILLUME-X beter presteert dan eerdere uniforme modellen in diverse interleaved tekst-beeldgeneratietaken zoals stijloverdracht, beelddecompositie en verhalen vertellen.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.