Elucidando o Modelo Multimodal Unificado para Geração Intercalada de Texto e Imagem em Forma Livre

Resumo

O avanço de modelos de IA generativa capazes de produzir texto e imagem representa um passo crítico no domínio da inteligência multimodal, particularmente para tarefas que envolvem a intercalação de ambas as modalidades. Para avançar essa inteligência ao próximo estágio, é crucial que os modelos gerem autonomamente sequências intercaladas livres de texto e imagem. Neste artigo, apresentamos o ILLUME-X, um paradigma multimodal unificado avançado que possibilita a geração intercalada livre de alta qualidade de texto e imagem ao melhorar a eficiência de dados multimodais e estabilizar o processo de treinamento multimodal. O ILLUME-X compreende três componentes principais: (i) um pipeline de dados de treinamento expandido otimizado para geração intercalada de texto e imagem, (ii) uma estratégia de treinamento progressivo com objetivos autoadaptativos para sequências de tokens multimodais de comprimento livre, e (iii) um método de avaliação objetivo e abrangente, ILScore, para sequências intercaladas de texto e imagem. Notavelmente, nosso ILLUME-X supera modelos unificados anteriores em diversas tarefas de geração intercalada de texto e imagem, como transferência de estilo, decomposição de imagem e narração de histórias.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.