Освещающая единая мультимодальная модель для свободной перемежающейся генерации текста и изображений

Аннотация

Развитие генеративных моделей ИИ, способных создавать текст и изображения, знаменует собой критически важный шаг вперед в области мультимодального интеллекта, особенно для задач, связанных с чередованием обеих модальностей. Чтобы вывести этот интеллект на следующий этап, модели должны автономно генерировать свободные чередующиеся последовательности текст-изображение. В данной статье мы представляем ILLUME-X — передовую унифицированную мультимодальную парадигму, которая обеспечивает высококачественную генерацию свободных чередующихся последовательностей текст-изображение за счет повышения эффективности мультимодальных данных и стабилизации процесса мультимодального обучения. ILLUME-X включает три ключевых компонента: (i) расширенный конвейер обучающих данных, оптимизированный для генерации чередующихся последовательностей текст-изображение, (ii) стратегию прогрессивного обучения с самоадаптирующимися целями для мультимодальных токеновых последовательностей произвольной длины и (iii) объективный и всесторонний метод оценки ILScore для чередующихся последовательностей текст-изображение. Примечательно, что наш ILLUME-X превосходит предыдущие унифицированные модели в ряде задач генерации чередующихся последовательностей текст-изображение, таких как перенос стиля, декомпозиция изображений и повествование.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.