Modèle multimodal unifié éclairant pour la génération libre de texte et d'image entrelacés

Résumé

L'avancement des modèles d'IA générative capables de produire du texte et des images constitue une étape cruciale dans le domaine de l'intelligence multimodale, en particulier pour les tâches impliquant l'entrelacement des deux modalités. Pour faire progresser cette intelligence vers le stade suivant, il est essentiel que les modèles génèrent de manière autonome des séquences texte-image entrelacées sous forme libre. Dans cet article, nous présentons ILLUME-X, un paradigme multimodal unifié avancé qui permet la génération de séquences texte-image entrelacées de haute qualité sous forme libre, en améliorant l'efficacité des données multimodales et en stabilisant le processus d'apprentissage multimodal. ILLUME-X comprend trois composants clés : (i) un pipeline de données d'entraînement élargi, optimisé pour la génération de séquences texte-image entrelacées, (ii) une stratégie d'entraînement progressive avec des objectifs auto-adaptatifs pour les séquences de tokens multimodaux de longueur libre, et (iii) une méthode d'évaluation objective et exhaustive, ILScore, pour les séquences texte-image entrelacées. Notamment, notre ILLUME-X surpasse les modèles unifiés précédents dans plusieurs tâches de génération de séquences texte-image entrelacées, telles que le transfert de style, la décomposition d'image et la narration.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.