ILLUME: Iluminando Seus LLMs para Ver, Desenhar e Autoaperfeiçoar

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Autores: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Resumo

Neste artigo, apresentamos o ILLUME, um modelo de linguagem grande multimodal unificado (MLLM) que integra perfeitamente capacidades de compreensão e geração multimodal em um único modelo de linguagem grande por meio de uma formulação unificada de previsão do próximo token. Para lidar com o tamanho grande do conjunto de dados geralmente necessário para o alinhamento imagem-texto, propomos melhorar a eficiência dos dados por meio do design de um tokenizador de visão que incorpora informações semânticas e um procedimento de treinamento progressivo em múltiplos estágios. Esta abordagem reduz o tamanho do conjunto de dados para apenas 15M para pré-treinamento - mais de quatro vezes menos do que o normalmente necessário - enquanto alcança desempenho competitivo ou até superior com MLLMs unificados existentes, como Janus. Além disso, para promover o aprimoramento sinérgico entre as capacidades de compreensão e geração, o que é pouco explorado em trabalhos anteriores, introduzimos um novo esquema de alinhamento multimodal autoaperfeiçoante. Este esquema supervisiona o MLLM para autoavaliar a consistência entre descrições de texto e imagens auto-geradas, facilitando o modelo a interpretar imagens de forma mais precisa e evitar previsões irreais e incorretas causadas por desalinhamento na geração de imagens. Com base em experimentos extensivos, nosso ILLUME proposto se destaca e compete com MLLMs unificados de ponta e modelos especializados em várias referências para compreensão, geração e edição multimodal.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.