Iluminando el Modelo Multimodal Unificado para la Generación Intercalada de Texto e Imagen en Forma Libre

Resumen

El avance de los modelos de IA generativa capaces de producir texto e imágenes supone un paso crítico en el ámbito de la inteligencia multimodal, especialmente para tareas que implican el entrelazado de ambas modalidades. Para llevar esta inteligencia a la siguiente etapa, es fundamental que los modelos generen autónomamente secuencias entrelazadas de texto e imagen en formato libre. En este artículo presentamos ILLUME-X, un paradigma multimodal unificado avanzado que permite la generación de alta calidad de secuencias entrelazadas de texto e imagen en formato libre, mejorando la eficiencia de los datos multimodales y estabilizando el proceso de entrenamiento multimodal. ILLUME-X se compone de tres elementos clave: (i) un pipeline de datos de entrenamiento ampliado y optimizado para la generación entrelazada de texto e imagen, (ii) una estrategia de entrenamiento progresivo con objetivos autoadaptativos para secuencias de tokens multimodales de longitud libre, y (iii) un método de evaluación objetivo y completo, ILScore, para secuencias entrelazadas de texto e imagen. Notablemente, nuestro ILLUME-X supera a modelos unificados previos en múltiples tareas de generación entrelazada de texto e imagen, como la transferencia de estilo, la descomposición de imágenes y la narración de historias.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.