ILLUME: Iluminando tus LLM para Ver, Dibujar y Auto-Mejorar

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Autores: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Resumen

En este documento, presentamos ILLUME, un modelo de lenguaje grande multimodal unificado (MLLM) que integra de manera fluida capacidades de comprensión y generación multimodal dentro de un solo modelo de lenguaje grande a través de una formulación unificada de predicción del siguiente token. Para abordar el gran tamaño del conjunto de datos típicamente requerido para la alineación imagen-texto, proponemos mejorar la eficiencia de los datos a través del diseño de un tokenizador de visión que incorpora información semántica y un procedimiento de entrenamiento progresivo de múltiples etapas. Este enfoque reduce el tamaño del conjunto de datos a solo 15M para el preentrenamiento, más de cuatro veces menos de lo que se necesita típicamente, logrando un rendimiento competitivo o incluso superior con respecto a los MLLMs unificados existentes, como Janus. Además, para promover la mejora sinérgica entre las capacidades de comprensión y generación, que ha sido poco explorada en trabajos anteriores, presentamos un novedoso esquema de alineación multimodal auto-mejorante. Este esquema supervisa al MLLM para autoevaluar la consistencia entre las descripciones de texto y las imágenes auto-generadas, facilitando que el modelo interprete las imágenes de manera más precisa y evite predicciones irreales e incorrectas causadas por desalineaciones en la generación de imágenes. Basándonos en experimentos extensos, nuestro ILLUME propuesto destaca y compite con los MLLMs unificados de última generación y modelos especializados en diversos puntos de referencia para la comprensión, generación y edición multimodal.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.